James Monroe, thượng nghị sĩ Hoa Kỳ; thống đốc Virginia; bộ trưởng Pháp, Anh và Tây Ban Nha, và là tổng thống thứ năm của Hoa Kỳ, đã mua trang trại này, ban đầu có tên là Highland, vào 1793. Ông đã hoàn thành ngôi nhà vào 1799. Người bạn và người cố vấn của Monroe, Thomas Jefferson đã chọn vị trí xây nhà, nơi có thể nhìn thấy Monticello của Jefferson. Monroe gọi ngôi nhà này là “ngôi nhà lâu đài” của mình. Gia đình Monroe rời Highland vào 1823; nó được bán vào 1826. Được nhà từ thiện Jay Winston Johns mở ra như một bảo tàng, khu đất phía nam của Quận Albemarle hiện thuộc sở hữu của Cao đẳng William và Mary và nhằm kỷ niệm thời gian Monroe cư trú tại khu vực này.

Công trình khảo cổ học tại nơi hiện được gọi là Cao nguyên James Monroe đã tiết lộ vào 2016 rằng nơi ở của gia đình Monroe không phải là phần phía sau của ngôi nhà chính hiện đang tọa lạc trên khu đất này. Thay vào đó, cánh sau là nhà khách đầu thế kỷ19 , được du khách sử dụng trong nhiệm kỳ tổng thống của Monroe và sau đó được mở rộng.  Ngôi nhà chính lớn hơn tại Ash Lawn-Highland từ thời Monroe có khả năng đã bị phá hủy bởi một trận hỏa hoạn vào giữa những năm1830và đầu những năm 1850 .