Thị trấn Stuart, ban đầu được gọi là Taylorsville, đã trở thành trụ sở của Quận Patrick khi nó được thành lập vào 1791. Với tòa án quận là trung tâm, Khu lịch sử Stuart Uptown bao gồm phần trung tâm của quận lỵ và các tòa nhà chính phủ, tài chính, tôn giáo và thương mại có niên đại từ giữa thế kỷ19đến giữa thế kỷ20 . Thị trấn đã trải qua sự phát triển nhanh chóng vào đầu những năm 1880sau khi xây dựng tuyến đường sắt Danville và New River mới chạy qua thị trấn. Vào 1884, Taylorsville được thành lập như một thị trấn và được đổi tên thành Stuart để vinh danh Thiếu tướng Liên minh miền Nam JEB Stuart, người sinh ra cách đó 20 dặm về phía tây.