Được đặt tên theo mũi đất có nhiều cây cối, đồn điền Holly Hill bên sông Mattaponi được Moore Fauntleroy thành lập vào 1784 trên vùng đất trước đây là một phần của Ring's Neck, một khu đất thuộc sở hữu của Joseph Ring, thư ký của Quận York vào cuối thế kỷ 17 . Ngôi nhà hiện tại, một công trình nguy nga, được xây dựng vào thập kỷ thứ hai của thế kỷ 19cho con trai của Fauntleroy, Samuel Griffin Fauntleroy. Về hình dáng và chi tiết, ngôi nhà hình chữ L không khác nhiều so với những ngôi nhà được xây dựng trong khu vực này hơn nửa thế kỷ trước, qua đó thể hiện tính liên tục và bảo thủ về mặt kiến trúc của miền Đông Virginia. Giống như những ngôi nhà tiền nhiệm, Holly Hill có mặt tiền năm ô cửa đối xứng, tường gạch tương đối không được trang trí và mái hông với diềm mái modillion. Nội thất bên trong vẫn giữ nguyên nét mộc mạc nguyên bản của phong cách Liên bang. Khu điền trang King và Queen County vẫn thuộc về gia đình Fauntleroy cho đến 1946.