Die Anfänge der Brömserburg, ursprünglich Niederburg, wurden bisher nicht entgültig erforscht.

Mauerreste eines Wehr- oder Wohnturms, vermutlich zwischen 800 und 1000 entstanden, sind im Inneren der Burg sichtbar. Da bei Grabungsarbeiten unter diesen Mauern noch Reste eines römischen Vorgängerbaus entdeckt wurden, liegt die Vermutung nahe, dass hier möglicherweise zu Zeiten der Römer ein Wachtturm gestanden haben mag, denn Rüdesheim war der Brückenkopf zum römischen Kastell Bingium, heute Bingen, auf der gegenüberliegenden Rheinseite.

Im 11. und 12. Jh. wurde die Burg von den Mainzer Erzbischöfen weiter ausgebaut.

Zunächst wurde der Wohnturm mit einer halb hohen Wehrmauer, deren breite Zinnenöffnungen noch im Mauerwerk erkennbar sind, umgeben. Ein Wehrturm an der Nordwestecke entstand, er bewachte den damaligen einzigen Eingang zur Burg. Der Ausbau zur mächtigen dreigeschossigen Vierflügelanlage, unter Einbeziehung der älteren Bauteile, erfolgte um 1200.Sämtliche während dieser Bauphase entstandenen Räume sind gewölbt, entweder mit Tonnen- oder mit Kreuzgratgewölbe.  

Es wurde ein neuer Wehrturm erbaut, im unteren Bereich hat er eine Mauerstärke von 4 bis 4,50 Metern. Vermutlich war er ursprünglich ca. 35 Meter hoch. Auf alten Stichen erkennt man als oberen Turmabschluss einen vorragenden Wehrgang. Der obere Teil wurde im 30-jährigen Krieg durch eine Sprengung zerstört, das geschah 1640 durch die Truppen des Herzogs von Longueville, auch der älteste Teil der Burg, der vor 1000 errichtete Wohnturm, stürzte bei dieser Aktion ein.

Anfangs hatte die Niederburg die Funktion einer Zollburg, der Rhein reichte damals noch bis an die Südseite der Anlage heran. Als dann zu Beginn des 13. Jhs. die Burg Ehrenfels zusammen mit dem Mäuseturm zur neuen Zollstätte wurde, verlor die Niederburg ihre Bedeutung als Zollburg, sie kam in die Hände der Ritter von Rüdesheim, ein Zweig dieser Ritter waren die Brömser, sie lebten mehrere Generationen hindurch in diesem Gemäuer, daher auch der Name Brömserburg.  

Als die Feuerwaffen aufkamen und die Burg nicht mehr viel Schutz vor feindlichen Überfällen bot, erbauten sich die Brömser in Rüdesheim ein komfortables Wohnhaus, den Brömserhof. Nach dem Aussterben der Familie Brömser kam die Burg an die Grafen von Metternich, die kein Interesse an dem alten Gemäuer hatte. Die alte Burg kam nach und nach in einen äußerst schlechten Zustand. Allerhand Gesindel und auch Getier suchte Unterschlupf in dem von Efeu überwucherten Bau, durch dessen leere Fensterhöhlen der Wind pfiff.

Die Rettung kam durch den Grafen Friedrich Karl Josef  von Ingelheim und seine Gemahlin Antoinette, die 1811 die Burg erwarben – ein mutiger Entschluss, wenn man die damalige Situation des Bauwerkes betrachtet.   

Von 1811 bis 1813 wurde die Burg von keinem Geringeren als dem herzöglichnassauischen Hofbaumeister Georg Moller in eine dem damaligen Zeitgeschmack angepassten und wie es hieß „romantischen Wohnburg“ umgestaltet. Größere Fenster und Türen ließen nun mehr Licht in die früher dunklen Gewölbe. Es wurden Wände eingezogen, um die Räume wohnlicher zu gestalten. Zierliche Eisengeländer und –Treppen, sowie Sandsteinbalkone an der Südseite schmückten nun das ehrwürdige alte Gemäuer. Ein Dachgarten wurde angelegt und auch der Burggarten entzückte die Besucher, die nicht lange auf sich warten ließen.

Bald gaben sich die Gäste „die Klinke in die Hand,“ denn wo sonst als hier am Rhein entdeckte man die Romantik, da war dieses alte Burggemäuer gerade richtig. Drei dicke Gästebücher legen Zeugnis für den Besucherandrang ab, in jedem etwa 1500 Eintragungen und auf fast jeder zweiten Seite eine berühmte Persönlichkeit, z.B. Johann Wolfgang v. Goethe, Heinrich Heine, Clemens v. Brentano, Achim v. Armin, Carl Maria v. Weber, Felix Mendelssohn-Bartholdi, Albert Lortzing, der Teufelsgeiger Paganini, Ludwig Uhland, die Gebrüder Grimm, Fürst Pückler Muskau – um nur einige Berühmtheiten zu nennen.

Bis 1937 war die Burg bewohnt, 1940 wurde sie an die Stadt Rüdesheim verkauft.

Während des Krieges lebten darin Gefangene und später Flüchtlinge. Nach dem Krieg wurde Raum für Raum hergerichtet, ausgestattet und eröffnet.

1950 wurde das Museum offiziell eröffnet.

1961 wurde die im 30-jährigen Krieg zerstörte Südostecke teilweise hochgezogen, dadurch entstand der Raum für die antiken Weingefäße, über diesem Raum eine schöne Terrasse.

Der Museumsverein wurde 1963 gegründet.