Fue fundado en el año 1529 por el Deán de la Catedral de Toledo, don Carlos de Mendoza, en la actual calle del Empecinado. Su traslado a la calle de los Colegios no se produjo hasta el año 1601. Tras la desamortización fue cárcel y taller penitenciario para hombres. En el año 1996 fue comprada por el Ayuntamiento y se baraja la posibilidad de destinar su uso a Parador Nacional de Turismo.