Khu đất Ditchley được cấp bằng sáng chế vào năm 1651 bởi Richard Lee, tổ tiên của gia đình Lee ở Virginia. Ngôi biệt thự hiện tại được xây dựng vào khoảng năm 1762 của Kendall Lee, chắt của Richard Lee, là kiến trúc thuộc địa Georgia cổ điển. Ngôi nhà có tường gạch đẹp, mái hông và tỷ lệ hình học đặc trưng của những ngôi nhà đồn điền đẹp nhất ở Virginia. Nội thất bên trong vẫn giữ được nhiều đồ gỗ nguyên bản, bao gồm cả cầu thang thời Georgia đáng chú ý. Năm 1792 gia đình Lee bán Ditchley cho James Ball, họ hàng của Mary Ball Washington, mẹ của George Washington. Bất động sản này vẫn thuộc sở hữu của gia đình Ball trong suốt thế kỷ thứ 19 . Vào 1932 Ditchley được ông và bà Alfred I. du Pont ở Wilmington, Del. mua lại. Bà du Pont, cựu Jessie Dew Ball (1884-1970), có quan hệ họ hàng với Balls of Ditchley. Sau khi chồng mất, bà du Pont trở thành một trong những nhà từ thiện hào phóng nhất nước Mỹ, đích thân tài trợ cho hàng trăm tổ chức.