Phần đầu tiên của ngôi nhà có khung bao quanh Brooks-Brown được xây dựng vào những năm 1830và sau đó được mở rộng thêm một số phần. Người cư ngụ đầu tiên ở đây là Andrew Brooks, một nông dân ở Quận Franklin, từng phục vụ tại Viện đại biểu Virginia từ 1843 đến 1863. Bất động sản này sau đó được anh rể của Brooks là William A. Brown, một trong những người trồng và sản xuất thuốc lá hàng đầu của quận, mua lại. Brown đã thành lập một nhà máy thuốc lá bên cạnh ngôi nhà vào khoảng 1870. Trong hai thập kỷ cuối của thế kỷ 19 , ngôi nhà còn đóng vai trò là trạm dừng xe ngựa được gọi là Ngôi nhà giữa chừng, cái tên này được đặt vì vị trí của ngôi nhà nằm giữa Danville và Roanoke. Một tòa nhà biệt lập trên khu đất Brooks-Brown House từng được sử dụng làm văn phòng và sau đó là trạm bỏ phiếu của quận; các bức tường bếp/phòng ăn vẫn lưu giữ những bức graffiti quý hiếm từ thế kỷ 19thứ 10.