Khu điền trang Ellerslie ở thành phố Colonial Heights được thành lập vào năm 1839 bởi David Dunlop và vợ ông, Anna Mercer Minge. Là người bản xứ ở Ayr, Scotland, Dunlop đã trở thành một trong những người lãnh đạo ngành công nghiệp thuốc lá của Virginia. Ngôi biệt thự có lâu đài của ông được thiết kế vào năm 1856 bởi Robert Young, một kiến trúc sư người Belfast (Ireland), và được bao quanh bởi khuôn viên có cảnh quan lãng mạn với sự xây dựng khác thường. Ngôi biệt thự đã bị trúng đạn pháo của Liên bang trong trận chiến Swift Creek trong Nội chiến 9, 1864 tháng 5, và sau đó được dùng làm trụ sở của Tướng Liên minh miền Nam PGT Beauregard. Lữ đoàn Nam Carolina của Tướng Johnson Hagood cũng sử dụng khu điền trang Ellerslie làm trại nghỉ ngơi trong tháng 9 1864, sau hành động dọc theo Đường sắt Weldon. Cháu trai của Dunlop đã thuê công ty Richmond là Carneal và Johnston để cải tạo dinh thự vào năm 1910 theo phong cách Bungaloid thời thượng hơn. Mái hông và cửa sổ mái nhà mở rộng thay thế cho mái bằng ban đầu, nhưng khối lượng cơ bản của ngôi nhà và tòa tháp vẫn giữ nguyên.