764 gründeten die aus einer bayerisch-alamanischen Adelsfamilie stammenden Brüder Hariolf und Erlolf ein Benediktinerkloster. Nach 1136 gestaltete man den Klosterbezirk mit Kirche, Klausur und Wirtschaftsgebäuden. Doch bereits 1182 fielen Teile dieser Anlage einem Feuer zum Opfer, sodass die Klostersiedlung erneut zu einer Großbaustelle unter Fürstabt Kuno (1188-1221) wurde.
Noch heute ist die ehemalige Klosterkirche St. Vitus der Mittelpunkt der Stadt. Sie erinnert in ihrem romanischen Erscheinungsbild an die geistlichen Anfänge Ellwangens.
Das vermutlich nur dem Adel vorbehaltene Kloster zählte ab 1215 zu den vom Kaiser meist begünstigten Reichsabteien. Ihr Abt wurde zum „Gefürsteten Propst und Herrn zu Ellwangen“ (Fürstpropst), dem geistlichen und weltlichen Herrscher mit reichsunmittelbarem Status. 1229 wird Ellwangen erstmalig in den Quellen als „civitas“ bezeichnet.
1443 zerstörte erneut ein Brand Teile des Klosters und besiegelte damit den schleichenden Niedergang des Klosters. 1460 erfolgte seine Umwandlung in ein Chorherrenstift mit Fürstpropst, Stiftsdekan und zwölf Chorherren.
Nach der Reformation und dem 30-jährigen Krieg wurde Ellwangen zu einem Zentrum der Restauration. Neue liturgische Handschriften entstanden wie die kostbare, reich ausgestattete „Salwirck-Missale“, ein Messbuch des Fürstpropsten Albrecht von Rechberg. Das Kloster selbst blieb bis zu Beginn des 18. Jahrhunderts in seiner Architektur größtenteils unverändert.
Im 18. Jahrhundert war die Reichspropstei durch ihre reichen Einkünfte, die besonders aus drei Eisenwerken stammten, eine begehrte Nebenpfründe. Außer Hüttenwerken, Schmelzofen und Hammerwerk hatte man eine Glashütte im nahen Rosenberg errichtet. Zwischen 1752 und 1865 produzierte die Fayencefabrik in Schrezheim wertvolle weißglasierte Töpferware. Das Schlossmuseum zeigt heute einen guten Querschnitt der Schrezheimer Produktion. Ehemalige Benediktinerkirche St. Vitus