El recinto amurallado que se conserva en la actualidad, iniciado en el siglo XIII, se corresponde sólo con el del Palacio Arzobispal y proviene de cuando Alcalá de Henares fue villa medieval y necesitaba una protección física no sólo por motivos castrenses sino, también, para proteger el comercio interno de la ciudad. Hoy en día se conservan 16 de las 22 torres con que contaba el recinto en el siglo XIV. En el interior del recinto se haya la Huerta del Obispo, en el pasado lugar de cultivo y recreo para la corte arzobispal.