Ban đầu được gọi là Pháo đài Calhoun, công trình phòng thủ đảo đáng sợ của Pháo đài Wool được bắt đầu vào năm 1819, cùng với Pháo đài Monroe ở phía đối diện, để bảo vệ lối vào bến cảng Hampton Roads. Robert E. Lee, khi đó là một kỹ sư quân đội, đã giám sát việc hoàn thành nó vào những năm 1830 . Tên của nó đã được đổi thành Fort Wool vào năm 1862 để vinh danh Thiếu tá. Tướng John Wool, chỉ huy lực lượng phòng thủ tại Hampton Roads. Từ Fort Wool, Tổng thống Lincoln theo dõi đoàn quân Liên bang lên đường chiếm thành phố Norfolk. Bị bỏ hoang vào 1886, pháo đài đã được tái kích hoạt và mở rộng trong cả hai cuộc chiến tranh thế giới, vì vậy hiện nay nó sở hữu nhiều công trình kỹ thuật quân sự. Nổi bật trong số đó là những tháp canh đáng sợ từ Thế chiến thứ II. Fort Wool một lần nữa bị bỏ hoang vào 1953, quyền sở hữu được chuyển lại cho Khối thịnh vượng chung vào 1967. Vào 1985, pháo đài được nhà nước chuyển nhượng cho thành phố Hampton, mở cửa cho phép du khách đến tham quan hạn chế.