Ingleside được xây dựng vào năm 1834 với tên gọi là Học viện Washington, một trong số nhiều trường dự bị tư thục được thành lập tại Virginia trong thời kỳ trước chiến tranh để giáo dục con trai của giới chủ đồn điền. Cấu trúc có mái hiên, với các chi tiết đơn giản, là một ví dụ hiếm hoi về kiến trúc thể chế nông thôn của thời kỳ đó. Người ta kể rằng những người sáng lập trường Westmoreland County đã thiết kế tòa nhà theo hình dáng của Điện Capitol, một công trình kiến trúc giống như đền thờ của Thomas Jefferson ở Richmond. Học viện đã hoạt động trong một thập kỷ trước khi phải đóng cửa do số lượng tuyển sinh giảm. Sau khi bán bất động sản ở 1847, tòa nhà đã được chuyển đổi thành nơi ở riêng và có tên như hiện tại. Sau nhiều lần thay đổi chủ sở hữu, Ingleside đã được Carl Henry Flemer ở Washington, DC mua lại vào 1890 và kể từ đó trở thành hạt nhân của Ingleside Plantation, Inc. nổi tiếng, một vườn ươm và nhà máy rượu do gia đình Flemer điều hành.