Tras el incendio sufrido en el año 1939, cuando ya había finalizado la Guerra Civil, el patio y la fachada que pueden contemplarse en la actualidad pasaron a ser, de los cuatro que llegó a tener, los únicos que se conservan. Fue residencia de los arzobispos de Toledo y para encontrar al primero de ellos en la tarea de marcar el inicio de las primeras obras, habría que remontarse al siglo XIII. Todavía en el siglo XVI se ordenó la construcción de un patio y una escalera que habría de convertirse en orgullo renacentista de sus mentores, los arzobispos Fonseca y Tavera. En él tuvieron residencia sucesivos reyes, y príncipes, su cuna; además de albergar la primera entrevista entre los Reyes Católicos y Cristóbal Colón. En la actualidad es sede el Episcopado de Alcalá.