Núi Columbia tọa lạc tại một trong những điểm cao nhất ở Quận King William, trên một khu đất ban đầu là một phần của khu đất rộng lớn thuộc Cao đẳng William và Mary. Ngôi nhà hai phần này minh họa cho sự tinh tế trong gu kiến trúc xuất hiện ở khu vực này vào đầu những năm 1800 . Phần cũ hơn, một ngôi nhà đơn giản, một phòng được xây dựng cho Gideon Bosher vào những năm 1790 , tiêu biểu cho những ngôi nhà của những người trồng trọt nội địa ôn hòa trong thời kỳ đó. Phần mặt tiền theo phong cách Liên bang tinh tế, được xây dựng vào những năm 1830dành cho William, con trai của Bosher, phản ánh xu hướng ngày càng tăng của giới quý tộc trong việc thể hiện sự thịnh vượng theo cách sành điệu hơn. Diện mạo chung của phần sau này có thể chịu ảnh hưởng từ Tòa nhà điều hành của Virginia. Anh trai của William Bosher là John, một thợ mộc, và người hàng xóm là Christopher Tompkins, một thợ xây chính, đều tham gia vào việc xây dựng dinh thự.