Được đặt theo tên của John B. Cary, giám đốc trường công lập Richmond từ 1886 đến 1889, công trình bằng đá granit có lâu đài này được thiết kế bởi Charles M. Robinson, kiến trúc sư giám sát tài năng của Hội đồng giáo dục công lập Richmond từ 1910 đến 1929. Với tư cách đó, Robinson đã cung cấp cho thủ phủ của Virginia một loạt các tòa nhà trường học nổi tiếng, bao gồm Trường Albert Hill và Trường trung học Thomas Jefferson. Robinson cũng là người lập kế hoạch tổng thể cho các trường đại học James Madison và Radford, và thiết kế các tòa nhà cho các trường cao đẳng công lập khác. Robinson rất thành thạo trong nhiều phong cách lịch sử khác nhau; việc ông lựa chọn phong cách Gothic Revival có lâu đài cho Trường Cary là bằng chứng cho thấy sự linh hoạt của ông. Mặc dù mang tính lịch sử, tòa nhà này là một cơ sở hoàn toàn hiện đại khi được mở cửa vào 1913. Tên trường được đổi thành Trường West End vào 1954 khi trường trở thành trường dành cho học sinh người Mỹ gốc Phi. Đóng cửa vào 1989, tòa nhà Trường John B. Cary đã được cải tạo để tái sử dụng làm nhà ở hỗ trợ sinh hoạt.