Melrose được Charles Alexander Scott xây dựng vào 1813 gần nhà máy của ông trên sông James ở Quận Fluvanna. Scott là thành viên của gia đình nổi tiếng tại địa phương điều hành Scott's Landing và thành lập Scottsville. Ngôi nhà gạch hai tầng theo phong cách Liên bang có sảnh trung tâm được xây dựng theo kiến trúc Flemish ở phía trên và kiến trúc Mỹ ở phía dưới mực nước ngầm. Melrose có vị trí rất ấn tượng trên đỉnh của một loạt các bậc thang đất cao hơn khu vực Seven Islands của con sông, có thể nghe thấy nhưng không nhìn thấy từ ngôi nhà. Một trận hỏa hoạn vào 1836 đã phá hủy phần lớn nội thất, nhưng Melrose đã nhanh chóng được phục hồi bên trong những bức tường ban đầu và hầu hết đồ trang trí nội thất từ thời kỳ này vẫn còn tồn tại. Mái nhà bằng đá phiến có thể cũng được lắp đặt cùng thời điểm đó.