En su origen fue Colegio-convento de San Carlos Borromeo y San Camilo de Lelis de los Clérigos Ministros de los Enfermos, aunque se le conoció como colegio de Agonizantes. Los últimos trabajos de construcción y reformas datan del año 1722. En el siglo XIX, y tras la desamortización, posterior cesión a la ciudad y nuevas reformas en el año 1875, pasó a usarse como Ayuntamiento.