Im Jahr 830 stifteten die Grafen von Calw ein bescheidenes Kloster. Auf seinen Grundmauern entstand im 11. Jahrhundert das Kloster St. Aurelius, von dem heute nur noch die beeindruckenden Reste der dreischiffigen Säulenbasilika erhalten sind. Es errang unter Abt Wilhelm (1071-1091) eine herausragende Bedeutung, verbunden mit rasch anwachsendem Besitz. Außerdem nahmen sich viele Klöster in Süd- und Mitteldeutschland das Reformkonzept Wilhelms zum Vorbild. Er legte eine die asketische Lebensweise der Mönche fördernde Interpretation der Ordensregel des Heiligen Benedikt vor.
Im Jahrhundert war dieses Kloster zu klein geworden. Deshalb wurde auf der gegenüberliegenden Seite der Nagold auf Betreiben Graf Adalberts von Calw eine neue Abtei gebaut. Sie bekam den Namen der Apostel Peter und Paul. Die feierliche Einweihung fand am 2. Mai 1091 statt. Die erste Blüte- und Ausbauzeit des Klosters „in den Hirschauen“, wie es in den Reichenbacher Schenkungsbüchern genannt wird, dauerte bis in die Mitte des 12. Jahrhunderts. St. Peter und Paul zählte zu den größten Klöstern Europas.
Eine zweite Blütezeit erlebte Hirsau im 14. und 15. Jahrhundert. Das reiche Kloster leistete sich umfangreiche Baumaßnahmen in seinen Mauern: die alten romanischen Konventgebäude wurden durch Neubauten im Zeitgeschmack der Gotik ersetzt. Hierzu gehörten der Kreuzgang und die Marienkapelle, in der auch die Bibliothek untergebracht wurde.
Mit der Reformation endete das Klosterleben im Jahr 1556. Herzog Ulrich von Württemberg ließ das Kloster stilllegen und eine evangelische Klosterschule einrichten. Seit 1592 ergänzte ein dreiflügeliges Jagdschloss im Renaissancestil die Klosteranlage. Herzog Ludwig von Württemberg errichtete es mit Hofbaumeister Georg Beer und dem Architekten Heinrich Schickhardt an der Stelle des früheren Abtshauses.
In den Jahren 1584-1585 verlor die Aureliuskirche ihre bis zum Ende des 15.
Jahrhunderts noch unveränderte romanische Baugestalt. Man brach die Ostteile der Kirche ab und errichtete ein Satteldach über dem nun kleineren Kirchenraum. Seither unterteilen im Inneren dreisäulige Arkaden den Raum in gleich hohe, flachgedeckte Schiffe.
Während des Pfälzischen Erbfolgekrieges 1692 zerstörten französische Truppen die meisten Klostergebäude und das Jagdschloss. Die Reste dienten lange Zeit als Steinbruch. Diese Zerstörungen hinterließen eine eindrucksvolle Ruinenlandschaft. Seit 1808 war Kloster Hirsau endgültig Ruine, die nicht weiter zerstört werden durfte. Im ehemaligen Ostflügel des Schlosses wuchs eine mächtige Ulme in den freien Himmel. Sie wurde von Ludwig Uhland im 19. Jahrhundert besungen und musste 1989 gefällt werden.
Bis in die 60er-Jahre des 20. Jahrhunderts waren Archäologen mit der Freilegung von Gebäuderesten und Untersuchungen auf dem ehemaligen Klostergelände beschäftigt. Seit 1956 dient die restaurierte Aureliuskirche als katholisches Gotteshaus. Zum 900. Jubiläum der Kirchenweihe von St. Peter und Paul eröffnete 1991 das Klostermuseum. In einem historischen Gebäude an der Aureliuskirche informieren sich seitdem Kulturinteressierte über 1100 Jahre Hirsauer Klosterkultur und die Calwer Stadtgeschichte.