Weil die Wallfahrer immer mehr zunahmen, ließ der damalige Pfarrer Dr. Matthias Samweber die Kapelle durch den spätbarocken Baumeister Josef Schmutzer aus Wessobrunn in den Jahren 1734-36 durch einen ovalen Anbau und zwei Seitenkapellen vergrößern. Der 26-jährige Tiroler Maler Johannes Evangelist Holzer versah die Kirche mit einem Deckenfresko, das den hl. Antonius als den großen Fürsprecher in allen Nöten darstellt und zu den besten und interessantesten Fresken der Barockzeit zählt.

Die Kirche wurde von 1992 bis 1998 außen und innen einer umfassenden und gut gelungenen Restaurierung unterzogen.

Das Kloster wurde 1738-40 als Priesterhaus erbaut und diente bis zur Übernahme durch die Franziskaner der Unterbringung der Seelsorger für die Wallfahrtsbetreuung. Von 1822 bis 1882 war zwischenzeitlich in dem Haus eine Lateinschule untergebracht. In den Jahren 1989/90 wurde es innen modernisiert und außen renoviert. Das gesamte Ensemble - Kirche und Kloster - steht heute unter Denkmalschutz.