A hajdani koronázóvárosnak igencsak tüsténkednie kellett a 18. században, hogy a várost újjávarázsolják az oszmán idők után. Ez a templom is akkor épült, az 1740-es években. A hajdani ferences templomot Szent Imre herceg tiszteletére szentelték fel, a közép- és újkorban a magyarországi Szent Imre-tisztelet középpontja volt.

A főbejárat felett ott is őrködik szobra Szent Antal és Szent Ferenc társaságában. A II. világháborúban a városiak menedékhelyeként szolgált.