Được xây dựng tại Quận Rockbridge vào khoảng năm 1800. 1815, Clifton ban đầu là nhà của Thiếu tá. John Alexander, một cựu chiến binh của Chiến tranh 1812 , từng là người ủy thác của Cao đẳng Washington gần đó (nay là Đại học Washington và Lee ở Lexington) từ 1812 đến 1853. Góa phụ của Alexander đã bán Clifton cho luật sư William Preston Johnston ở Louisville, Ky., người từng là phụ tá của Tổng thống Liên minh miền Nam Jefferson Davis trong Nội chiến. Được Robert E. Lee mời tham gia giảng dạy tại Cao đẳng Washington, Johnston đã đảm nhiệm vị trí giáo sư chính thức cho đến 1872. Trong thời gian sống tại Clifton, Johnston đã viết tiểu sử về cha mình, tướng Liên minh miền Nam Albert Sidney Johnston. John Johnston sau đó trở thành hiệu trưởng đầu tiên của Đại học Tulane. Trên ngọn đồi nhìn ra Sông Maury, ngôi nhà đồ sộ với mái hiên bằng gạch đúc là ví dụ điển hình về trang trại của giới quý tộc trong khu vực. Cổng vào hai tầng của Clifton, một phần bổ sung vào cuối thế kỷ 20 , được thiết kế bởi kiến trúc sư Thomas WS Craven.