Thị trấn Madison đã đóng vai trò là quận lỵ và trung tâm thương mại của Quận Madison kể từ khi thành lập từ Quận Culpeper vào năm 1793. Khu định cư này được thành lập chính thức như một thị trấn bưu điện vào 1801, vài năm sau khi tòa án, văn phòng thư ký và nhà tù đầu tiên của quận được xây dựng. Tòa nhà nổi bật nhất của Khu lịch sử Tòa án Quận Madison là tòa án theo phong cách Jefferson 1830 . Một yếu tố quan trọng của khu phức hợp tòa án là khu vực ca. 1832 quán rượu, một công trình gạch lớn có lan can bậc thang. Ngôi nhà lịch sử chính là ngôi nhà theo phong cách Phục hưng Hy Lạp, nơi ở của Thiếu tướng Liên minh miền Nam James Lawson Kemper, người sau này giữ chức thống đốc. Ngoài các công trình kiến trúc đầu và giữa thế kỷ19 , Khu lịch sử Tòa án Quận Madison còn có một trung tâm thương mại cuối thế kỷ19 , cùng với một số dinh thự trang trí theo phong cách Victoria. Được tuyến đường Hoa Kỳ 29 tránh xa, thị trấn vẫn giữ được nhiều nét đặc trưng của làng quê thời kỳ đầu.