En 1793 se compró el sitio con ayuda del Segundo Conde de Revillagigedo, Juan Vicente Güemes Pacheco y Padilla; el arquitecto Manuel Tolsá proyectó y dirigió esta obra entre 1797 y 1813. Antonio Villard, a causa del hundimiento del subsuelo, reconstruyó el edificio en 1830, sin alterar su forma. Fue sede de las oficinas del Ministerio de Instrucción Pública y Cultos, de la Academia de Ciencias y Literatura, el Ministerio de Justicia y la Oficina de Constribuciones. De 1867 a 1954 alojó la Escuela Especial de Ingenieros.