El primer uso de este inmueble fue durante el siglo XVI, cuando María de Aguilar y Melchor de Cuéllar apoyaron la fundación de un Colegio-Seminario para la Compañía de Jesús. La construcción de este colegio fue concluida por Andrés de Carvajal y Tapia en 1695. Al construirse el convento de Tepotzotlán, los novicios fueron trasladados allí, por lo que este inmueble quedó como casa de probación y residencia de los padres jesuitas. Tras la expulsión de los jesuitas, el edificio fue abandonado hasta noviembre de 1770 que se destinó como Hospital de San Andrés. Durante el gobierno de Porfirio Díaz, se construyó un nuevo Hospital General, por lo que, en 1904 se demolió el inmueble para dar paso al Palacio de la Secretaría de Comunicaciones y Obras Públicas bajo el diseño del arquitecto italiano Silvio Contri. La obra tardó siete años y significó un avance en la construcción, ya que la herrería fue un material novedoso para la época. Fue inaugurado en 1911. De 1973 a 1977 alojó también el Archivo General de la Nación. En 1982 se remodeló el inmueble y se creó el Museo Nacional de Arte.