Được Thống đốc James Barbour sử dụng đầu tiên vào 1813 , Tòa nhà Hành pháp của Virginia là tòa nhà thống đốc lâu đời nhất của quốc gia được xây dựng cho mục đích đó. Kiến trúc sư Alexander Parris là người bản xứ Maine, từng sống một thời gian ngắn ở Richmond và sau này trở thành kiến trúc sư hàng đầu ở Boston. Được xây dựng cạnh tòa nhà Quốc hội Virginia bởi thợ xây Christopher Tompkins, dinh thự này là một tác phẩm khéo léo theo phong cách Liên bang. Trong nhiều năm phục vụ, dinh thự đã đón tiếp nhiều vị khách như Lafayette, Hoàng tử xứ Wales (sau này là Vua Edward VII), Thống chế Foch, Winston Churchill và Elizabeth, Hoàng thái hậu. Thi thể của Stonewall Jackson và nhà vô địch quần vợt Arthur Ashe được quàn tại đây. Ngoại trừ phòng ăn 1908 được kiến trúc sư Duncan Lee xây thêm và phòng khiêu vũ được xây dựng sau một trận hỏa hoạn 1926 , ngôi nhà hầu như không có nhiều thay đổi. Bên ngoài được phục hồi dưới thời chính quyền Baliles khi lan can và các tấm trang trí được xây dựng lại.  Vào 1990, Dinh Thống đốc đã đạt được vị trí nổi bật trong lịch sử người Mỹ gốc Phi khi trở thành nơi ở của L. Douglas Wilder, thống đốc da đen đầu tiên được bầu ở Mỹ kể từ thời Tái thiết.