Im Laufe der Zeit errichtete man verschiedene An-, Neu- und Umbauten. Vor allem die Klosterbrände von 1470 und 1555 machten aufwendige Baumaßnahmen notwendig. Dazu gehörte auch die barocke Ausgestaltung der Kirche und die Erweiterung der Klosteranlage: Um 1735 gehörten ein Gästehaus und die in den mehrstöckigen Komplex untergebrachte Abtswohnung und ein Gesindehaus zum Kloster. Auch ein Klostergarten wurde unterhalten, dort waren auch die Metzgerei und ein Badehaus untergebracht. Nach 1735 legte man einen terrassierten Garten für Gäste an.
Im Jahr 1802 hebt Markgraf Karl Friedrich von Baden die Abtei Allerheiligen im Zuge der Säkularisation (Verweltlichung von Kirchengütern) auf. Die Chorherren müssen 1803 ihr Kloster verlassen. Eine Wollspinnerei und der Brand von 1804 tragen viel zur beginnenden Zerstörung des Anlage bei. Ab 1819 wird, nach der Klausur, auch die Kirche zum Abbruch freigegeben.
Die Zeit der Bewahrung, zumindest der verbliebenen Reste Allerheiligens, begann mit der Erschließung der Wasserfälle im Jahr 1840 durch den Waldhüter Mittenmeier, der auch erster Gastwirt im stillen Tal des Lierbachs wird. Die "Büttenschroffen" wurden eine große Attraktion und ein vielbesuchtes Ausflugsziel. Erste Instandsetzungs- und Restaurierungsarbeiten an der Klosteranlage beginnen 1845. Der romantische Blick auf die Ruine im "verlassenen" Tal schuf die Voraussetzung für ihre Rettung.
Die 1871/87 errichteten Kurhäuser werden 1947 vom Caritasverband der Diözese Mainz erworben und dienen noch immer als Kindererholungsheim.
1980 werden umfangreiche Instandsetzungsmaßnahmen ergriffen und 1995 vom Land Baden-Württemberg ein Informationszentrum eröffnet. 1996 feierte man das 800jährige Klosterbestehen.