Được đặt theo tên của một lãnh chúa người Đức, Hesse là quận lỵ của gia tộc Armistead, một gia tộc thuộc địa mà các thành viên, thông qua hôn nhân, là tổ tiên hoặc họ hàng của hầu hết mọi gia tộc giàu có hàng đầu ở Virginia. Cuộc điều tra khảo cổ học đã phát hiện ra nền móng của ngôi nhà thuộc địa ban đầu bị cháy vào 1798. Ngay sau đó, nó đã được thay thế bằng công trình gạch hiện tại được dựng cách đó vài feet. Vị trí của cả hai ngôi nhà có lẽ được chọn vì tầm nhìn ấn tượng ra Vịnh Godfrey ở cửa sông Piankatank. Ngôi nhà hiện tại, với mặt tiền trang trọng có năm ô cửa và đồ gỗ ốp, minh họa cho sự tồn tại của hình thức kiến trúc truyền thống Georgia ở các quận phía đông Virginia trong thời kỳ Liên bang. Hesse đã được khôi phục một cách tỉ mỉ vào cuối những năm 1970khi các cánh có mái nhà kiểu Gambrel được thêm vào.