Fue en un principio seminario de los Padres Redentoristas desde 1955, hasta que por falta de alumnado abandonaron las instalaciones en 1968.

El edificio quedaría en desuso hasta que, en 1973, la Diputación de Valladolid lo adquirió a cargo de una permuta para trasladar allí a los internos del hospicio del Palacio de los Condes de Benavente, que estaba en estado de ruina. Este colegio-residencia se mantuvo operativo hasta 1985. Además, en 1979, la institución provincial trasladó su archivo a una galería de la primera planta del edificio. Ya en 1982, y con motivo de la llegada del mundial de fútbol, se instaló el Centro Territorial de RTVE en una de sus alas.

Poco después, en 1987, un incendio en el Colegio Zambrana obligó a trasladar provisionalmente sus instalaciones a este edificio. Ese mismo año se inició la actividad del Instituto Mixto en este enclave, compartiendo instalaciones con el Centro de Formación Profesional ‘Torres Quevedo’. En este sentido, las dependencias de este gran edificio siguieron sirviendo para la docencia durante varios años más, hasta el abandono definitivo de la mayoría de sus espacios.

Se trata de un edificio complejo, compuesto por un conjunto de pabellones en tomo a tres patios que confluyen en un vértice común donde se dispone un cuerpo de cuatro plantas, que es el remate más significativo del conjunto.

El desarrollo de la planta es de tipo simétrico de acuerdo con un eje diagonal norte - sur, aunque con las variaciones de distribución interior propias de los diversos usos que recibe. La construcción debió comenzarse hacia 1940 y está concebida para albergar el uso mixto educativo y residencial propio del destino original de seminario, con las zonas de aulas y las de internado; completan el programa las instalaciones singulares de capilla, salón de actos, biblioteca, salones de usos múltiples y las áreas de servicios, cocinas, comedores, etc.., así como las dotaciones exteriores deportivas (campos de deporte, piscina, pistas polideportivas, etc.) y el ajardinamiento y arbolado del recinto principal. El diseño del edificio sigue un criterio funcional, resolviendo los pabellones secundarios de acuerdo con la Orientación preferente para iluminación de aulas y una disposición repetititvo y sobria de huecos, propia del período autárquico de postguerra, recurriendo al lenguaje clasicista en el frente principal del edificio para formalizar los elementos más nobles. 

El entorno del Juan de Austria está formado por diferentes especies arbóreas como almendros y pinos albares. Llama la atención la presencia en todo el perímetro de enormes árboles ornamentales, sobre todo acacias, cipreses, castaños de indias, moreras y alguna retama. Los muros del edificio y los árboles de los alrededores cobijan diferentes aves como palomas domésticas, abubillas, palomas torcaces, tórtolas, urracas y pajarillos como jilgueros, colirrojos, tizones, verdecillos, verderones y estorninos negros. El cernícalo vulgar es una pequeña ave rapaz que nidifica en el edificio.