Scottsville bắt đầu vào năm 1732 khi Edward Scott, một thị dân của Quận Goochland, cấp bằng sáng chế cho 550 mẫu Anh ngay phía tây của thị trấn tương lai. Cộng đồng quận Albemarle phía nam thịnh vượng, đạt đến đỉnh cao vào đầu thế kỷ 19với việc mở Sông James và Kênh Kanawha. Scottsville sớm trở thành một thị trường bột mì quan trọng. Sự suy tàn của nó bắt đầu vào năm 1865 khi quân đội của Tướng Liên bang Philip Sheridan cướp phá nơi này, phá hủy kênh đào và các tòa nhà thương mại. Scottsville không bao giờ thực sự phục hồi, và sự tăng trưởng chậm chạp của thành phố này vẫn giữ được bản sắc lịch sử của mình. Một số 100 tòa nhà cũ vẫn còn ở Khu lịch sử Scottsville, gần một nửa có từ trước Nội chiến, bao gồm các nhà thờ theo phong cách Phục hưng cổ điển và nhiều ngôi nhà bản địa. Bao gồm cả núi Walla ca 1820 , được liệt kê riêng trong sổ đăng ký.

Vào 2004, Khu lịch sử Scottsville đã được mở rộng để bao gồm phần lớn thị trấn Scottsville từ Sông James về phía bắc và phía tây qua các ngọn đồi và vách đá của thị trấn, và đề cử cập nhật bao gồm danh mục đầy đủ các tòa nhà trong khu vực ở cả hai quận Albemarle và Fluvanna.
[VLR niêm yết: 12/3/2003; NRHP niêm yết: 2/11/2004]