En 1580, se comenzó a construir, en este predio, el Palacio Episcopal; un edificio de dos pisos, con portada austera conformada por balcones y ventanales. Durante el siglo XVII, el pintor yucateco Juan Gamboa Guzmán tuvo su estudio en los bajos del palacio y el obispo Crescencio Carrillo y Ancona, un museo particular. En 1915, el general Alvarado quitó a la Iglesia la propiedad, remodeló la fachada con un estilo afrancesado y estableció el inmueble como Ateneo Peninsular. Otros usos fueron Tribunal Superior de Justicia, Procuraduría General, Juzgados de la Primera Instancia y los Menores, Jefatura de la Zona Militar, Oficina Federal de Hacienda y Agencia General de la Secretaría de Agricultura. En la planta baja estuvo la Agencia de Economía Nacional; la Subdelegación del Departamento Forestal, de Caza y Pesca; la Oficina de Monumentos Arqueológicos y varias notarías.