Inverness là ví dụ điển hình cho sự phát triển của kiến trúc và hoạt động xây dựng ở miền trung Virginia, cũng giống như lịch sử của thành phố này phản ánh các mô hình chung về hoạt động nông nghiệp trong hai thế kỷ qua. Ngôi nhà chính phát triển theo bốn giai đoạn bắt đầu vào khoảng 1800 và đạt đến đỉnh cao với biểu tượng “Miền Nam Cũ” có mái vòm đạt được vào khoảng 1907. Cho đến khi Nội chiến kết thúc, Inverness thuộc sở hữu của gia đình Dickenson và phát triển từ một trang trại khiêm tốn ở Quận Nottoway thành một trang trại có hơn 25 nô lệ làm việc. Sau chiến tranh, Samuel S. McLean, một nhân vật nổi tiếng đến từ các tiểu bang miền Tây mới nổi, đã mua lại và đặt tên cho bất động sản này. Ông đã tham gia Cơn sốt vàng California, phục vụ trong chính quyền lãnh thổ Colorado và có mặt trong phái đoàn đầu tiên của Montana tới Quốc hội Hoa Kỳ. Người ta nói rằng McLean đã đặt tên thủ phủ của Montana là Helena theo tên con gái mình là Helen. Cũng chính Helen và chồng bà, James P. Agnew, một dược sĩ và chủ ngân hàng ở Quận Nottoway, cuối cùng đã sống tại Inverness và điều hành một trang trại bò sữa ở đó. Hoạt động sản xuất sữa vẫn tiếp tục trong gia đình cho đến những năm 1970 . Vào 1993, bà Lillian Agnew Leath đã trao tặng tài sản cho Chương trình Quà tặng Di sản của Quỹ Bảo tồn Di tích Lịch sử Quốc gia. Quỹ tín thác đã bán bất động sản Inverness cùng với quyền sử dụng không gian mở và quyền bảo tồn.