Shirley được cấp bằng sáng chế vào năm 1660 bởi Edward Hill, tổ tiên của những người chủ sở hữu hiện tại. Khu phức hợp được bố trí chính thức tại Quận Charles City thể hiện rõ bầu không khí làng quê của một đồn điền thuộc địa lớn, nhưng đặc biệt chú ý đến vị trí và cách xử lý kiến trúc của các công trình phụ. Ngôi biệt thự, sân trước phụ thuộc, chuồng trại và hai ngôi nhà ba phòng ngủ đã biến mất được xây dựng vào khoảng năm 1800. 1738 sau cuộc hôn nhân của Elizabeth Hill, người thừa kế của Shirley, với John Carter, con trai của Robert (“King”) Carter. Ngôi biệt thự được cải tạo vào những năm 1770bởi Charles Carter, người đã lắp đặt đồ gỗ nội thất sang trọng và thêm các cổng vào. Các cổng vào đã được sửa đổi trong 1831. Khu phức hợp Shirley uy nghiêm, cùng với bộ sưu tập đồ nội thất gia đình và chân dung, là một trong những bức tranh đáng nhớ nhất về sự liên tục của xã hội đồn điền Virginia. Anne Hill Carter, vợ của “Light-Horse Harry” Lee và là mẹ của Robert E. Lee, sinh ra tại Shirley vào 1773.