Zum Schutz des Klosters und der Stadt errichtete Abt Kuno I. vermutlich um 1200 die „Burg ob Ellwangen“ auf dem heutigen Schlossberg. Sie diente als Wohnsitz und Wahrzeichen der Macht. Die Residenz war geprägt von der weltlichen Hofhaltung der 1460 zu Reichsfürsten aufgestiegenen Äbte. Urkundlich erwähnt wird die Burg erstmalig 1266 als „castrum Ellwangen“.
1687-1689 erfolgte die Ausgestaltung des Südflügels über der Kapelle. In einer dritten Bauphase, nach einem großen Schlossbrand, ließ Ludwig von der Pfalz das Schloss zwischen 1720-1727 im Stil des Barock unter dem Deutschordensbaumeister Franz Keller und Franz Josef Roth umbauen. Es erhielt ein einheitliches Mansarddach und im Südflügel neue Repräsentationsräume mit einem Fürstensaal und einem vorgebauten Treppenhaus.
Über 83 Räume zählte das Schloss. Die Haupträume des Fürstpropsten lagen im Süd- und Ostflügel. Im Osten befanden sich das Paradeschlafzimmer mit Vorzimmer und das als Arbeitszimmer genutzte Kabinett. Den in diesem Flügel gelegenen Festsaal zieren zwölf Bildnisse der Fürstpröpste und ein Deckenfresko des Asamschülers Christoph Thomas Scheffler (1728/29). Der gegenüberliegende Marschallsaal ist das weltliche Gegenstück zum Festsaal. Hier residierte der Marschall als Vorsteher des fürstlichen Hofstaates.
Die gesamte Raumaufteilung folgte dem Wiener Hofzeremoniell: Im Zentrum befinden sich die Prunktreppe und der Festsaal, die von Schlafzimmer, Kabinett und privaten Gemächern flankiert werden.
Im Untergeschoss und dem Zwischengeschoss lagen Silberkammer und Archiv, Badekammer, Küche, Bäckerei und Konditorei.
Im Zuge der Säkularisation von 1802/1803 machte Kurfürst Friedrich das Schloss zu seiner Residenz. Aus dem fürstpröpstlichen Speisesaal wurde der Thronsaal des zum König aufgestiegenen Friedrich I. von Württemberg. Zwischen 1803 und 1806 saß die Regierung von Neuwürttemberg im Schloss, danach vereinte Friedrich alle Ämter seines Königreiches im Zusammenschluss von Alt- und Neuwürttemberg in Stuttgart.
In den Jahren 1815 und 1816 richteten sich der verbannte westfälische König Jérôme Bonaparte, Bruder Napoleons, und seine Frau Katharina, die württembergische Königstochter, einzelne Räume im Schloss ein. Um sich das Schlossleben behaglicher zu machen, ließen sie die Galerien verglasen. Die hierdurch entstandenen Gänge heizte man mit transportablen Öfen.
Ab 1842 vollzog sich ein endgültiger Wandel in der Nutzung des Schlosses: Eine Ackerbauschule zog ein, einzelne Landesbehörden folgten 1849. Den Großteil seines wertvollen Mobiliars und seiner Kunstschätze versteigerte man. Am vollständigsten erhalten blieb die Einrichtung der Hofkapelle.
Bedeutende Stücke wie der „Ellwanger Kabinettschrank“ von 1670 gingen nach Stuttgart. 1994 wurde er durch die Verwaltung der Staatlichen Schlösser und Gärten wieder zurück nach Ellwangen gebracht und ist heute im Schloss zu besichtigen.