Từng là một phần của trang trại bò sữa thành công phục vụ Fredericksburg và khu vực xung quanh, Elmhurst được xây dựng vào 1871, với các phần mở rộng vào năm 1900 và 1910 . Mặc dù không còn tòa nhà nào của trang trại sữa còn sót lại, ngôi nhà vẫn đại diện cho thời kỳ chuyển tiếp ở Quận Spotsylvania sau Nội chiến, khi nền kinh tế nông nghiệp đa dạng hóa sau khi mất đi lao động. Elmhurst là quê hương của Washington Elms và gia đình ông, những người nông dân di cư đến Virginia từ New York. Gia đình Elms tiếp tục hoạt động sản xuất sữa sau khi ông qua đời vào 1895 cho đến 1907, khi họ bán tài sản cho CW Jones, một doanh nhân nổi tiếng ở Fredericksburg. Jones đã thực hiện một số thay đổi cho ngôi nhà theo phong cách Ý bao gồm cả hiên trước ấn tượng nhưng vẫn tiếp tục hoạt động sản xuất sữa cho đến 1933. Vào thời điểm đó, khu đất này được chia thành nhiều lô đất ở, phản ánh sự phát triển nhanh chóng của thành phố Fredericksburg. Elmhurst đã trải qua những thay đổi đáng kể vào những năm 1980 , nhưng vào thời điểm được liệt kê trong sổ đăng ký, nó đã được phục hồi một cách cẩn thận và một lần nữa trở thành ví dụ về phong cách kiến trúc tương đối không phổ biến này ở Fredericksburg.