Schriftlichen Quellen zufolge wurde die Burg um das Jahr 1070 von Friedrich I. von Schwaben errichtet. Bis zum 13. Jahrhundert war die Burg auf dem Hohenstaufen, nach dem sie auch benannt wurde, die Stammburg des mächtigen Geschlechts derer von Staufen, die im Laufe ihrer Blütezeit Könige und Kaiser hervorbrachte. So weilte etwa im Jahre 1181 der legendäre Kaiser Friedrich Barbarossa auf der von seinem Großvater errichteten Burg und Kaiserin Irene, die einst Walter von der Vogelweide als „Rose ohne Dorn und Taube sonder Gallen“ pries, starb hier an den Folgen einer Geburt.
Nach dem Untergang der Staufer Mitte des 13. Jahrhunderts übernahmen die Grafen von Württemberg die herrenlose Reichsburg und wurden nach harten Widerständen Anfang des 14. Jahrhunderts die rechtmäßigen Besitzer der Burg mitsamt dem Dorf und dem Amt Hohenstaufen. Württembergische Vögte verwalteten das Gebiet. Durch den Verlust ihrer strategischen Stellung und der damit einhergehenden Reduzierung der dem Burgvogt unterstehenden Mannschaft konnte die Reichsburg ohne nennenswerte Verteidigung während des Bauerkrieges im Jahre 1525 durch 300 Aufständische übernommen werden.
Die durch den Krieg beschädigte Burg wurde im Jahr 1555 von Herzog Christoph von Württemberg teilweise niedergerissen. Teile des Baumaterials wurden zur Errichtung des Göppinger Stadtschloss verwendet. 1736 verfolgte Herzog Karl Alexander von Württemberg den Plan, den Gipfel des Berges mitsamt den Burgresten einebnen zu lassen. Dieser Plan wurde jedoch durch den frühen Tod des Herzogs nie ausgeführt. Dennoch wurden aber wohl in dieser Zeit die mittelalterlichen Mauern vollständig beseitigt.
Bereits Anfang des 19. Jahrhunderts verlangten erste Stimmen ein Denkmal auf den Hohenstaufen errichten zu lassen. Im Jahr 1833 gründete der Pfarrer von Hohenstaufen, Eduard Keller, den ersten Hohenstaufenverein. Deren Ziel war die Wiederherstellung der Barbarossakirche, die als Gedenkstätte an das bedeutende Geschlecht dienen sollte. Daran erinnert der reiche heraldische Schmuck an den Außenfassaden des Baus. Die Mittel des ersten Vereins waren 1859 erschöpft. Weitere Ideen kamen auf, verschwanden aber genauso schnell wieder.
1936 und 1938 fanden umfangreiche Grabungen durch das Landesamt für Denkmalpflege Stuttgart statt. Dabei wurden Teile der einstigen Grundmauer wiederentdeckt. Diese Mauerzüge wurden freigelegt, deren fehlende Teile so ergänzt wurde, das ihr Verlauf und Funktion deutlich werden. Ein weiteres Denkmal an das Staufergeschlecht erhielt im Jahre 2002 seinen Platz auf dem Hohenstaufen: die Staufer-Stele. Die 3,20 Meter hohe, achtseitige Stele aus apulischen Marmor
Eine Abbildung von der früheren möglichen Gestalt der Burg Hohenstaufen gibt ein freigelegtes Wandfresko in der Oberhofenkirche in Göppingen. Im Hintergrund des Stifterbildes von 1490 erhebt sich die Burg auf dem Hohenstaufen. Mit dieser und anderen Abbildungen aus dem 16. und 17. Jahrhundert sowie den Ergebnissen der Ausgrabungen entstanden Modelle der einstigen Burganlage, die eine wage Vorstellung von der Gestalt der Burg geben. Auf einer Fläche von ca. 50 Ar war die Burganlage untergebracht, die durch eine beinah zwei Meter starke Umfassungsmauer gesichert wurde. Die Anlage wurde im 12. Jahrhundert durch den Einzug einer Trennmauer in eine Vor- und Hauptburg aufgeteilt.