Es wird vermutet, dass die Burg im 13. Jahrhundert erbaut wurde. Zu dieser Zeit hatte Jan Dankertszoon van Overborde Besitzungen im Oudelandpolder. Sein Sohn Gheront kaufte diese 1311 von Graf Wilhelm III. von Holland und Zeeland. Der älteste Name dieses Gebietes war Overborde, was die andere Seite des Borden bedeutet. Der Borden ist der älteste bekannte Name des Pluimpot, eines kleinen Flusses, der die Insel Tholen in zwei Teile teilte.
Im Mittelalter konnte es in diesem Bereich auch recht gewalttätig werden. Viele Adlige waren ständig miteinander uneins. Die Van Overbordes und die Van Borsseles und ihre Gefolgsleute kämpften zum Beispiel ständig gegeneinander. Mehr als zehn Jahre später ist das Schloss im Besitz der Familie Van Borsseles.
Floris van Borssele ließ die Burg Mitte des 14. Jahrhunderts um den Nederhof erweitern, der ebenfalls vollständig von Wasser umgeben ist. Auch die Burg erfuhr danach Veränderungen. Am Ende dieses Jahrhunderts wurde auf den Fundamenten zweier runder Türme des Oberhofs ein schwerer viereckiger Kerker errichtet.
Sint-Maartensdijk blühte während des Lebens von Frank II. van Borssele (ca. 1396-1470), einem der Statthalter von Holland, auf. Er leitete ein großes Gericht. Seine „heimliche“ Heirat 1432 in Sint-Maartensdijk mit der niederländischen Gräfin Jacqueline (ihre vierte Ehe) steigerte sein Ansehen und seinen Besitz.
Frank van Borssele starb 1470 in seinem Schloss in Den Briel. Sint-Maartensdijk kam durch Franks Schwester Alienora in den Besitz von Floris van Egmond. Sein Besitz wurde jedoch von Jasper van Culemborg bestritten. Die folgende Schlacht war Teil der letzten Episode der Hook and Cod Wars. In Zeeland wurde dieser Krieg als Squire French War (1488-1492) bezeichnet. Die Stadt Sint-Maartensdijk wurde damals zerstört. Sint-Maartensdijk und das Schloss kamen durch Anna van Egmond, besser bekannt als Anna, Gräfin von Buren, die erste Frau von Wilhelm I. von Nassau, in den Besitz des Hauses Oranien. König Willem-Alexander ist immer noch Herr von Sint-Maartensdijk.
Weitere Informationen über die Verbindungen zwischen der königlichen Familie und Sint-Maartensdijk finden Sie im Orange Room, einem kleinen Museum am Markt 1.
Im Achtzigjährigen Krieg spielte die Burg keine nennenswerte Rolle, erlitt aber in den Gefechten große Schäden. 1572 und 1573 fielen die Bettler auf die Insel Tholen ein, plünderten die Burg und entführten den Verwalter nach Den Briel. Auch die Stadt hat in der Schlacht enorm gelitten. Zu diesem Zeitpunkt begann die Burg zu verfallen. In den folgenden Jahren wurde das Schloss gepflegt, aber erst nach der Ernennung von Frederik Hendrik, dem Baumeister des Hauses Oranien, wurde wieder richtig investiert. Auf dem Schlossgelände wurde eine Kapelle errichtet und in der Stadt wurde das Rathaus dank einer großzügigen Spende des Fürsten umfassend renoviert. Nach dem Tod von Frederik Hendrik setzte die Verschlechterung ein. Um 1700 wurde der ursprüngliche „Obere Hof“ (die Hauptburg) abgerissen. Bilder der Burg zeigen, dass in den folgenden Jahrhunderten immer mehr Gebäude verschwanden. Das Schloss wurde vom Verwalter bewohnt. Die Orangen selbst kamen nicht oft nach Sint-Maartensdijk.
Nach dem Einmarsch der Franzosen im Jahr 1795 und der Flucht Wilhelms V. nach England wurden die Überreste der Burg von der batavischen Regierung beschlagnahmt. 1807 war nicht mehr viel übrig, und als die Angelegenheiten der Domänen der Oranien 1818 endgültig geregelt waren, wurde beschlossen, die Burg bis auf zwei Meter unter der Erde abzureißen. Als Fertigstellungstermin wurde hierfür der 1. Mai 1819 festgelegt.
Das Schlossgelände wurde 1963 an einen Mr. Awl, der das Gärtnerhaus abgerissen und einen Bungalow bauen ließ. In den Jahren 1965-1967 wurden archäologische Forschungen von der Staatlichen Archäologischen Forschungsabteilung durchgeführt.