Die ersten festen Bauten der Burganlage wurden wohl schon im 11. Jahrhundert errichtet: "Mergintaim" wird 1058 erstmals urkundlich erwähnt. Im Jahr 1219 schenkten die drei Brüder Heinrich, Andreas und Friedrich von Hohenlohe, die nachdem sie an einem Kreuzzug teilgenommen hatten, in den Deutschen Orden eingetreten waren, diesem neugegründeten Deutschen Orden ihre Wasserburg und Besitzungen in Mergentheim.
In der Folge entwickelte sich die Burg zu einer bevorzugten Residenz der Deutschmeister, man empfing bedeutende Gäste, den Kaiser und einflußreiche Fürsten, bewirtschaftete einen umfangreichen, sich ständig vergrößernden Besitz und trieb Weinhandel. Durch die Ansiedlung von Dominikanern und den Kauf der Besitzungen der konkurrierenden Johanniter mehrte der Deutsche Orden in der Zeit zwischen dem 13. und dem 16. Jahrhundert seine wirtschaftliche und politischen Kraft.
Die Anlage des Schlosses zeigt noch heute Spuren der ursprünglichen mittelalterlichen Wasserburg: die ringförmige Anordnung der Gebäude, gekrümmte Mauern des Nordflügels, ebenso Bewehrungen und Wassergräben. Der Ausbau der Burg erfolgte Ende des 16. Jahrhunderts unter dem Hochmeister Walter von Cronberg, nachdem der Hauptsitz des Ordens im Zuge der Reformation und des Bauernkriegs nach Mergentheim verlegt worden war.
Im Lauf der Zeit errichtete man eine repräsentative Renaissance-Anlage, indem die einzelnen Bauten im Inneren Schlosshof zu einem geschlossenen Gebäudekranz zusammengefasst wurden. Der maßgebliche Baumeister, Blasius Berwart, konstruierte 1574 auch die bis heute berühmte Wendeltreppe zwischen West- und Nordflügel. Die nach ihm benannte Treppe scheint, statt von einer Spindel, von einem Kranz steinerner Taue getragen zu werden, die einen Hohlraum umgeben.
An den Kern der Schlossanlage schließt sich seit 1626 das "Äußere Schloss" an, ein Kranz von Verwaltungs- und Wirtschaftsgebäuden. Dazu gehören der Hauptportalbau, der den Zugang von der Stadt eröffnet, die Brücke über den Wehrgraben, der Torturm , außerdem das Kanzlei- und Archivgebäude, der Marstall, das Bandhaus (früher Kelterhaus, Küferei- und Fruchtspeicher), Reithalle, Scheune und Orangerie.
Im 18. Jahrhundert wurde, neben Umbauten im Flügel des Inneren Schlosses, die Schlosskirche neu gebaut, ebenso das Priesterseminar. 1739 errichtete man nach Plänen des Münchner Hofbaumeisters Francois Cuvilliés die Sala terrena am Südflügel: Es entstand ein Rokoko-Gartenfesthaus. Von diesem Gebäude sind nur noch einige Gartenfiguren erhalten und heute im Deutschordensmuseum ausgestellt.