Ngôi nhà khung đơn giản ở Cleydael được xây dựng vào năm 1859 làm nơi nghỉ dưỡng mùa hè ở Quận King George cho Tiến sĩ. Richard H. Stuart là một nhà văn người Anh. Khi xây nhà xa sông Potomac, Stuart tin rằng một khu đất cao trong đất liền sẽ mang lại sự thoải mái hơn, tránh xa mùa hè oi bức của Tidewater. Thiết kế mặt bằng hình chữ T của Cleydael giúp tăng cường khả năng thông gió. Tiến sĩ Stuart chuyển gia đình đến Cleydael trong suốt thời gian diễn ra Nội chiến, tin rằng nơi này sẽ an toàn trước hoạt động quân sự. Tướng Robert E. Lee đã gửi hai cô con gái của mình đến ở với anh em họ của họ tại Cleydael khi buộc phải rời khỏi Arlington. Sau vụ ám sát Abraham Lincoln, John Wilkes Booth cùng với những người đồng hương đã tìm kiếm sự trợ giúp y tế từ Bác sĩ Stuart tại Cleydael. Stuart, biết về vụ ám sát, đã nghi ngờ và từ chối giúp đỡ và cho khách trú ẩn, đuổi họ đi sau khi cho họ ăn tối.