Phần đầu tiên của Chapel Hill là phần đá trung tâm theo phong cách Liên bang, hai tầng của ngôi nhà hiện tại, được xây dựng cho Tiến sĩ Charles Carter Byrd vào 1824, một năm sau khi mẹ ông trao cho ông khu đất rộng 168mẫu Anh. Philip Burwell, con trai của Nathaniel Burwell ở Carter Hall gần đó, đã mua bất động sản ở Quận Clarke vào năm 1826. Chủ sở hữu nổi tiếng nhất của ngôi nhà vào thế kỷ 20là Thiếu tướng William “Wild Bill” Donovan, người đã mua nó vào 1938, sau đó thuê kiến trúc sư George L. Howe ở Washington, DC để cải tạo và mở rộng ngôi nhà theo phong cách Phục hưng Thuộc địa. Howe đã thêm phần mái bằng đá cao một tầng rưỡi ở hai bên. Một số tòa nhà phụ, bao gồm nhà kho ngân hàng, chuồng ngựa và nhà chú rể, cũng được xây dựng vào thời điểm đó. Trong Thế chiến II, Donovan đã thành lập và chỉ đạo Văn phòng Dịch vụ Chiến lược, tiền thân của Cơ quan Tình báo Trung ương. Sau khi ông qua đời vào 1959, tài sản vẫn thuộc về gia đình Donovan cho đến 1999.  Chapel Hill là một tài sản góp phần vào Khu lịch sử nông thôn Chapel.