Die Kaiserpfalz Gelnhausen, auch Barbarossaburg genannt, geht wie die Stadt Gelnhausen auf eine Gründung Kaiser Friedrichs I. (Barbarossa) zurück. Die ehemals von der Kinzig umflossene Wasserburg wurde auf 12.000 Eichenpfählen gegründet.
Die Pfalz war bereits zehn Jahre nach Gründung der Stadt Gelnhausen im Jahre 1180 Schauplatz des Hoftages zu Gelnhausen, auf dem Heinrich dem Löwen in Abwesenheit der Prozess gemacht und seine Länder neu aufgeteilt wurden. In den folgenden Jahren fanden dort weitere Hoftage statt.
Der Niedergang der Pfalz setzte im 14. Jahrhundert ein, als 1349 Kaiser Karl IV. die Burg mit der Stadt an den Grafen von Schwarzburg versetzte und sie nie auslöste. Im Jahr 1431 erwarben der Graf von Hanau und der Pfalzgraf Ludwig III. Pfalz und Stadt von Graf Heinrich von Schwarzburg. Im Dreißigjährigen Krieg wurden Stadt und Pfalz stark zerstört. Kaiserliche und schwedische Truppen brannten das Hauptgebäude der Pfalz nieder.
Nach dem Aussterben des Hauses Hanau im Jahre 1736 fiel Gelnhausen an die Landgrafen von Hessen-Kassel. Die Pfalz wurde bis 1811 als Steinbruch genutzt, und aufgrund ihrer Baufälligkeit musste 1856 die Kapelle abgerissen werden. Ende des 19. Jahrhunderts und während des 20. Jahrhunderts wurden erste Sicherungsarbeiten durchgeführt, um die Reste der Pfalz für die Nachwelt zu erhalten.
Heute sind nur noch Teile der Anlage erhalten, darunter die vollständige Ringmauer und ein Rest des Palas.
Die Pfalz gehört heute zur Verwaltung staatlicher Schlösser und Gärten Hessen und ist gegen Eintritt der Öffentlichkeit zugänglich.