Phần đầu tiên của ngôi nhà Castle Hill gồm hai phần là một ngôi nhà khung gỗ truyền thống của thời thuộc địa Virginia, được xây dựng vào năm 1764 bởi Tiến sĩ Thomas Walker, một nhà lãnh đạo thuộc địa và nhà thám hiểm miền Tây. Tại đây, 1781 vợ của Walker đã trì hoãn đại tá người Anh Banastre Tarleton để cho nhà yêu nước Jack Jouett có thời gian cảnh báo Thomas Jefferson và các nhà lập pháp Virginia về kế hoạch bắt giữ họ của Tarleton. Phần gạch uy nghiêm, một ví dụ về chủ nghĩa cổ điển Jefferson của thợ xây bậc thầy John M. Perry, được xây dựng vào năm 1823-24 cho William Cabell Rives, bộ trưởng Pháp, thượng nghị sĩ Hoa Kỳ và nghị sĩ Liên minh miền Nam. Nhà kính có cột được William B. Phillips thêm vào 1844 . Cháu gái của Rives là Amelie, vợ của họa sĩ người Nga, Hoàng tử Pierre Troubetzkoy, là một tiểu thuyết gia và nhà viết kịch. Bà và chồng đã chọn Castle Hill làm nơi sinh sống vào những thập kỷ đầu của thế kỷ 20 . Castle Hill, nằm ở Khu lịch sử nông thôn dãy núi Tây Nam của Quận Albemarle, còn nổi tiếng với những khu vườn rộng lớn và khuôn viên được thiết kế đẹp mắt.