Bloomsbury ở Quận Cam được thành lập vào thời điểm nào đó sau 1720 bởi Đại tá James Taylor, Sr., một trong những chủ đất đầu tiên của khu vực và là tổ tiên của cả hai tổng thống James Madison và Zachary Taylor. Ngày xây dựng phần ban đầu không được ghi chép lại nhưng có thể nó đã được xây dựng sớm nhất vào 1722 thời James Taylor II. Mặc dù bên ngoài đơn giản, nhưng nội thất được bài trí tinh xảo của Bloomsbury lại có mặt bằng độc đáo và cầu thang khác thường. Theo truyền thống gia đình, cầu thang rộng với lan can trang trí được thiết kế như một phòng trưng bày nhạc cụ. Ngôi nhà được nhân đôi diện tích bằng một phần mở rộng hai tầng đơn giản xung quanh 1800. Bloomsbury được bảo tồn tốt một cách khác thường và vẫn giữ được khung cảnh nông thôn tuyệt đẹp với những cánh đồng rộng lớn và những ngọn đồi có nhiều cây cối ở chân núi Jerdone phía đông thị trấn Orange. Trên khuôn viên có một lò hun khói từ thế kỷ thứ 19 , một nghĩa trang từ thế kỷ thứ 18và dấu tích của một khu vườn thời kỳ đầu hiếm có với các sân thượng và một khu vực trũng.