Das ehemalige Spitalgebäude zum Hl. Geist geht auf die Anfänge des Ellwanger Benediktinerklosters zurück und zählt zu den ältesten derartigen Einrichtungen des Landes. 1355 lässt sich ein Verwalter nachweisen. 1486 verlegte man das Spital aus dem Eingangsbereich des Klosters in die heute nach ihm benannte Straße. Es überdauerte als einzige Institution das Ende des geistlichen Fürstentums.
Zunächst für Arme eingerichtet, diente es ab dem 15. Jahrhundert vorrangig als Alterspflegeheim für Reiche. Mit dem Anstieg der Zahl der Pfründner erfolgten unter Fürstpropst Franz Ludwig zwischen 1699-1732 der Umbau und die Erweiterung des Spitals. Schon ab 1749 – 1753 kam es zu seinem weiteren Ausbau unter Fürstpropst Franz Georg von Schönborn nach Plänen des Stadtbaumeisters Arnold Friedrich Prahl (1709-1758). Ein Gutachten für den Bau erstellte der berühmte Barockbaumeister Balthasar Neumann.
1892 übernahmen Franziskanerinnen die Pflege und Betreuung der Spitalbewohner. Sie wirkten dort bis zu Auflösung des Spitals im Jahr 1986. Seit 1989 ist das Gebäude Sitz des Ellwanger Rathauses. Ehemalige Benediktinerkirche St. Vitus Ehemalige Jesuitenkirche