Trụ sở của Quận Grayson được thành lập tại địa điểm này ở Phố cổ, gần thành phố Galax, vào năm 1799. Tòa án thứ hai, một công trình bằng gỗ, đã được xây dựng ngay sau đó. Một văn phòng thư ký nhỏ được xây dựng vào 1810. Vào 1833 quận đã giao cho James Toncray nhiệm vụ xây dựng một tòa án bằng gạch. Toncray, một công ty xây dựng tòa án hàng đầu ở Tây Nam Virginia, đã xây dựng tòa án của Quận Wythe vào 1818 (đã bị phá hủy) và tòa án của Quận Scott vào 1829. Ông đã xây dựng tòa án cho các quận Montgomery và Floyd (cả hai đều đã bị phá hủy) cùng lúc ông đang thi công công trình tại quận Grayson. Toncray sử dụng bố cục ba phần, sử dụng hai dãy nhà hai tầng cho mỗi tòa án của mình. Tòa án Quận Grayson Cũ đã trở thành nơi cư trú riêng sau khi trụ sở quận được chuyển đến thị trấn Independence, và Tòa án Quận Grayson mới được xây dựng vào 1908. Sau đó, nơi này được sử dụng làm khách sạn và cuối cùng là nhà kho. Tòa án Quận Grayson Cũ và Văn phòng Thư ký đã được khôi phục riêng vào 1988.