Một trong số nhiều dinh thự lớn ban đầu xung quanh trung tâm thành phố Lexington, Col Alto được hoàn thành vào 1827 cho James McDowell, thống đốc Virginia từ 1847 đến 1849. Thiết kế của công trình theo phong cách Phục hưng cổ điển được cho là của Samuel McDowell Reid, một kiến trúc sư nghiệp dư là anh em họ của McDowell. Điển hình cho những ngôi nhà theo phong cách cao cấp đầu tiên của khu vực, Col Alto sử dụng các chi tiết cổ điển có kích thước rộng rãi được tô điểm bằng những bức tường gạch tinh xảo. Vào 1898 Col Alto được Henry St. George Tucker, hiệu trưởng trường Luật Đại học Washington và Lee, sau này là quyền hiệu trưởng, mua lại. Tucker cũng phục vụ tại Quốc hội từ 1921 đến 1932. Con gái của Tucker, Rosa Tucker Mason, người đã mua lại Col Alto vào 1932, đã ủy quyền cho kiến trúc sư người New York William Lawrence Bottomley thiết kế một hiên nhà theo phong cách Palladian ấn tượng. Mason cũng đã ủy quyền cho kiến trúc sư cảnh quan Rose Greely thiết kế khuôn viên. Đến cuối thế kỷ 20 , khu đất Col Alto đã trở thành một phần của khu phức hợp nhà trọ.