Se fundó entre los años 1550 y 1551 por Felipe II, siendo aún príncipe, como colegio en el que estudiaran hijos de criados de la Casa Real. Las obras del edificio concluyeron en el período del reinado de Felipe III. Entre sus colegiales cabe destacar la presencia de Francisco de Quevedo. En 1882, y tras haber pertenecido a un particular, pasó de nuevo a pertenecer al Estado y fue destinado a Casa de Correos y Telégrafos. Tras una última adquisición por el Ayuntamiento de la ciudad, fue cedido más recientemente al Instituto Cervantes como sede central de la institución.