Joseph Foster, người bản xứ Newport, Anh, là chủ sở hữu đầu tiên của ngôi nhà lớn hình chữ T này được xây dựng ở Quận New Kent gần Sông Pamunkey. Mặc dù việc mất đi những hồ sơ ban đầu của New Kent cản trở việc xác định niên đại chính xác, ngôi nhà có thể được xây dựng vào khoảng từ 1685 đến 1690 khi Foster đại diện cho New Kent tại Viện Burgesses. Lâu đài Foster cùng với Lâu đài Criss Cross và Lâu đài Bacon ở Quận Surry có sự khác biệt là những ngôi nhà trang viên thời Stuart duy nhất còn sót lại ở Virginia có mặt tiền là hiên nhà khép kín với các phòng ở phía trên, một đặc điểm điển hình của những ngôi nhà Anh thời hậu trung cổ. Hầu hết nội thất ban đầu của Lâu đài Foster đã được thay thế vào đầu thế kỷ 19và các bức tường một tầng trên phần thân chính của ngôi nhà đã được nâng lên thành hai tầng vào 1873. Bất chấp những thay đổi này, các phần tường còn sót lại của Lâu đài Foster vẫn là một tài liệu quan trọng về kiến trúc lâu đời nhất của Virginia.