Ban đầu được cấp bằng sáng chế vào năm 1638 cho Elizabeth Grayne và được canh tác như một đơn vị riêng biệt trong gần ba thế kỷ rưỡi, Hardens là một điền trang ở James River trước đây từng là một trang trại phụ hoặc một phần tư của đồn điền Shirley . Bất động sản của Quận Charles City trước đây được gọi là Hardings và Hardings Landing. Bản khảo sát và sơ đồ 1818 cho thấy một ngôi nhà ở vị trí gần đúng của ngôi nhà hiện tại. Một ví dụ điển hình về kiến trúc bản địa nông thôn của Virginia vào giữa thế kỷ19 , phần chính của ngôi nhà khung hiện tại được Hill Carter, của Shirley, xây dựng vào 1846 cho con trai ông là Lewis Warrington Carter, và có thể kết hợp các phần của một công trình trước đó. Hardens được David Walker Haxall mua lại vào 1852 để cung cấp gỗ cho hoạt động xay xát rộng lớn của gia đình ông tại Richmond. Trong Nội chiến, nơi này đóng vai trò là trạm liên lạc của Liên bang và trại lính cho Thiếu tá. Tướng George B. McClellan trong 1862.