Trụ sở của quận Grayson được thành lập tại địa điểm này ở Old Town, gần thành phố Galax, ở 1799. Tòa án thứ hai, một cấu trúc bằng gỗ, được xây dựng ngay sau đó. Một văn phòng thư ký nhỏ bé đã được dựng lên ở 1810. Trong 1833, quận đã ủy quyền cho James Toncray xây dựng một tòa án bằng gạch. Toncray, một nhà xây dựng tòa án hàng đầu ở Tây Nam Virginia, đã xây dựng tòa án của Quận Wythe ở 1818 (bị phá hủy) và tòa án của Quận Scott ở 1829. Ông đã xây dựng các tòa án cho các quận Montgomery và Floyd (cả hai đều bị phá hủy) cùng lúc ông đang làm việc trên cấu trúc Quận Grayson. Toncray đã sử dụng một bố cục ba bên, sử dụng đôi cánh hai tầng, cho mỗi tòa án của mình. Tòa án Quận Grayson Old đã trở thành nơi ở tư nhân sau khi quận lỵ được chuyển đến thị trấn Independence, và một Tòa án Quận Grayson mới được xây dựng vào 1908. Sau đó nó được sử dụng như một khách sạn và cuối cùng là một nhà kho. Tòa án Quận Grayson Cũ và Văn phòng Thư ký đã được trùng tu riêng vào 1988.