1636 kam das Herrenhaus von Stavenisse in den Besitz von Hieronymus van Tuyll van Serooskerke. Später wurde er Herr von Tienhoven, Stavenisse und Sint-Annaland, Gerichtsvollzieher von Veere und gesetzlicher Ratsherr von Zeeland. Er heiratete Anna Maria van Lier, die drei Jahre später starb.
Er heiratete 1653 erneut Margaretha van Huyssen, geboren 1632 in Middelburg. Hieronymus ließ 1653 im Zusammenhang mit seiner Heirat mit diesem reichen Erben das Schloss in Stavenisse erbauen und hielt sich dort regelmäßig auf. Beide Ehen blieben kinderlos.
Rechts sehen Sie eine Nachbildung einer Statue eines wilden Mannes. Zwei solcher Männer flankierten den Eingang zum Schlossgelände. 1948 verkaufte das Gut die Reste des ehemaligen Schlossparks mit dem Kanal an zwei Privatpersonen. Kurz darauf, bei den Fluten des Jahres 1953, stürzten die beiden wilden Männer von ihren Sockeln und wurden im Schlamm versunken. Nach der Katastrophe wurden sie ausgegraben und an einen Antiquitätenhändler verkauft.
Links neben dem Schild sehen Sie einen kleinen Weg, der zum Gelände des Schlosses führt. Die Fundamente wurden vor einigen Jahren ausgegraben und restauriert.
Er starb am 22. April 1669 in Veere. Er wurde am 4. Mai in der Kirche in Stavenisse beigesetzt. Sein Grabmal, das heute noch zu sehen ist, wurde von dem renommierten Bildhauer Rombout Verhulst geschaffen. Anschließend heiratete Margaretha Huyssen noch zweimal.
Nach dem Tod von Margaretha wurde das Schloss kaum noch genutzt und verfiel. Die beiden hohen Schornsteine auf dem Dach waren bereits in Cornelis Pronks Zeichnung des ca. 1743. Es gibt auch andere Anzeichen von Verschlechterung in der Zeichnung.
1753 wurde das Gut an den Gerichtsvollzieher und Bierbrauer Antoni de Clercq verkauft, der auch im Auftrag von Willem Lokker, ehemaliger Rechtsanwalt in Zierikzee, und Cornelis van der Lek, Sekretär von Stavenisse, handelte.
Nicht lange danach verschwand die Burg vom Erdboden. Es war jedoch noch 1758 dort.
Bei der Einführung des Grundbuchs im Jahr 1832 wurde der ehemalige Schlosspark als Teich, Fischerei und Garten beschrieben, im Besitz des Gutsherrn Johannes de Clercq. Der Wassergraben, die Wassergrabenmauern und die Gebäude vor der Burg blieben bis in dieses Jahrhundert erhalten.
1995 wurde auf dem Fußweg hinter dem Schloss eine Nachbildung eines der wilden Männer aufgestellt. Der Schlosspark ist ein nationales Denkmal.
