Im Jahre 1659 schließlich wird der Schweizerhof wieder in guten Zustand gesetzt, die Sankt-Wendelins-Kapelle daselbst repariert und ein neuer Altar aufgestellt. Anton Rieger, ein Maler aus dem Kloster Weißenau, malte den Altar.

Nachdem ein Blitzschlag 1668 großen Schaden angerichtet hatte, wurden die abgebrannten Häuser und der Stadel 1676 wieder aufgebaut. Damals dürfte die Kirche ihr heutiges Aussehen erhalten haben. Der Kaisersheimer Abt Rogerius I. Röls (reg. 1698-1723) ließ sie ausweißen und neue Altäre, Stühle und eine Orgel für 5000 Gulden anschaffen.

Die Baulichkeiten in ihrer jetzigen Form stammen vermutlich aus dem Ende des 17. Jahrhunderts, als nach einem Blitzschlag im Jahre 1668, der verheerende Brände ausgelöst hatte, die abgebrannten Gebäude wieder neu errichtet wurden. In dieser Wiederaufbauphase ist neben der Kirche auch der zweigeschossige Bau mit dem abgesetzten Walmdach entstanden, der später als Schloss bezeichnet wurde, obgleich er nicht als solches konzipiert war. Vermutlich war er als Unterkunft für die zeitweilig anwesenden Patres und den Besuch des Abtes (die reichen Stuckverzierungen in den Räumen lassen darauf schließen) und als architektonisches Pendant zur Kirche entsprechend repräsentativ erstellt.

Unter Abt Cölestin Mermos wurde dieses Gebäude gründlich renoviert und im Stil der damaligen Zeit ausgestaltet. Darauf weisen zwei Medaillons an der Südostecke der Anlage hin mit der Inschrift C.A.Z.K. (= Cölestin, Abt zu Kaisheim) 1739-1771 (= die Regierungszeit des Abtes) und die römische Zahl MDCCLII (= 1752). Wahrscheinlich erschien der Bau nach seiner Renovierung und Umgestaltung so eindrucksvoll, dass ihn die Leute nun als Schloss titulierten, obwohl er amtlich nicht so bezeichnet wurde.

Quelle: Schlösser, Burgen, Klöster und Ruinen (Rudolf Braun)

Mit der Aufhebung des Klosters im Zuge der Säkularisation von 1802 müssen die Besitzverhältnisse für das Gut Bergstetten ebenfalls neu geregelt werden. Das so genannte Schloss bereitete aber eher Probleme bei der beabsichtigten Veräußerung durch den neuen Besitzer, das Herzogtum und spätere Königreich Bayern. Ein Protokoll berichtet: "Die Gebäude des Bergstettener Hofs sind weitläufig und einem Pächter vom Bauernstand mehr zu Last als zum Nutzen."

Mit Heinrich Stalter fand man einen Pächter, der nicht nur Bergstetten sondern auch gleich den Neuhof pachtete. Von dieser Verpachtung existiert ein Übergabeprotokoll, in dem alle Gebäude unter einem Dach auf zusammen 6000 fl. und alle Grundstücke auf über 12000 fl. geschätzt werden. 3000 fl. zahlte Stalter Pacht für beide Höfe und die Schabernackmühle. Er hatte aber Schwierigkeiten, diese Summe aufzubringen, wie zahlreiche Aufschubgesuche belegen.

Schließlich übernimmt das bayerische Königshaus das Gut 1816. Es wird königliches Gestüt. Jetzt kommt das "Schloss" wieder zu Ehren und dient dem jeweiligen Gestütsverwalter als Dienstwohnung. Sogar Prinzregent Luitpold sieht man in Bergstetten öfters zu Gast.

1936 wird es von der Wehrmacht als Remonteamt übernommen. Dabei werden auch die Häuser für die Bediensteten gebaut, die heute noch das Bild Bergstettens zusammen mit der von Linden umsäumten Wittelsbacher Allee bestimmen.

Bis 1945 wird es dann als Remonteamt geführt. Im Obergeschoss wohnte dessen Chef, Oberst von Oer, im Erdgeschoss waren Küche und Kantine untergebracht. Im Dezember 1944 wurden noch 1300 Pferde (Lipizzaner) mit 120 Betreuern aus 3 ungarischen Gestüten dorthin verlegt.

Nach dem 2. Weltkrieg wurde das Gut Bergstetten von den Amerikanern beschlagnahmt. Diese übergaben das Gut dann der Bayerischen Landessiedlung, welche Häuser und Felder an Heimatvertriebene verpachtete, ehe diese dann später beides als Eigentum erwerben konnten.  

Die Kirche wurde nach der Säkularisation profaniert, diente als Geräteraum, Getreidespeicher und Pferdestall, bis sie auf Drängen der Verantwortlichen von Sulzdorf und Bergstetten durch das Bistum Eichstätt wieder instandgesetzt wurde.  

1967 erfolgte die Einweihung, ein Jahr später entstand daneben ein Friedhof. Die seelsorgerische Betreuung erfolgt durch die Pfarrei Buchdorf. Große Verdienste um die Entwicklung Bergstettens nach 1945 (Eigentumserwerb, Kirche, Friedhof) hat sich Paul Pietsch (+ 1982) erworben, der für seinen unermüdlichen Einsatz mit dem Bundesverdienstkreuz ausgezeichnet wurde.