En este inmueble residieron los primeros jesuitas del cuarto voto. La construcción comenzó el 29 de julio de 1597, la cubierta estuvo a cargo del arquitecto Melchor Pérez de Soto. Fue reconstruido en 1714 a consecuencia de la inundación de 1629; esta obra estuvo bajo la dirección del arquitecto Pedro de Arrieta. Tras la expulsión de los jesuitas, el templo pasó al cargo del Colegio de San Ildefonso y, cerca de 1771, se permutó del oratorio a la casa e iglesia de La Profesa. Fue adquirido por los padres del oratorio de San Felipe Neri, quienes lo adaptaron en 1774.