Este templo del siglo XVII formó parte del Hospital fundado por Conín. Este hospital se abrió en 1586 y por muchos años suplió las necesidades y estuvo al servicio. El Hospital y el templo se dedicaron a la devoción de San José y, debido al patronato del rey de España, se le nombró Hospital Real de San José de Gracia. Fue administrado por la comunidad hasta 1624 que se entregó a los Hipólitos, quieres rehabilitaron el edificio y construyeron una nueva iglesia con un retablo dedicado a la Inmaculada Concepción. En 1808 ya resultaba insuficiente para atender a toda la población y, en 1821, el hospital fue retomado por médicos civiles.