Được đặt tên theo vùng đất Đức, Hesse là quận lỵ của Quận Mathews của Armisteads, một gia đình thuộc địa mà các thành viên, nhờ hôn nhân, là tổ tiên hoặc họ hàng của gần như mọi gia đình đất đai hàng đầu ở Virginia. Cuộc điều tra khảo cổ học đã tiết lộ nền móng của ngôi nhà thuộc địa ban đầu, bị đốt cháy vào năm 1798. Nó đã được thay thế ngay sau đó bằng cấu trúc gạch hiện tại được dựng lên cách đó vài feet. Tình hình của cả hai ngôi nhà có thể đã được lựa chọn vì tầm nhìn ấn tượng của Vịnh Godfrey ở cửa sông Piankatank. Ngôi nhà hiện tại, với mặt tiền chính thức, năm vịnh và đồ gỗ ốp lát, minh họa sự tồn tại của các hình thức truyền thống của Gruzia ở các quận phía đông Virginia trong thời kỳ Liên bang. Hesse đã được khôi phục tỉ mỉ vào cuối những năm 1970, tại thời điểm đó các cánh mái gambrel đã được thêm vào.