En 1636, le manoir de Stavenisse est devenu la possession de Hieronymus van Tuyll van Serooskerke. Il devint plus tard seigneur de Tienhoven, Stavenisse et Sint-Annaland, bailli de Veere et conseiller statutaire de Zélande. Il épousa Anna Maria van Lier, décédée trois ans plus tard.
Il se remarie en 1653, avec Margaretha van Huyssen, née en 1632 à Middelburg. Hieronymus fit construire le château de Stavenisse en 1653 à l'occasion de son mariage avec ce riche héritier, et y séjourna régulièrement. Les deux mariages étaient sans enfant.
Sur la droite, vous voyez une réplique d'une statue d'un homme sauvage. Deux de ces hommes flanquaient l'entrée du parc du château. En 1948, le manoir vendit les vestiges de l'ancien parc du château avec le canal à deux particuliers. Peu de temps après, lors des inondations de 1953, les deux hommes sauvages sont tombés de leurs piédestaux et ont été submergés dans la boue. Après la catastrophe, ils ont été déterrés et vendus à un antiquaire.
A gauche du panneau, vous verrez un petit chemin qui mène au parc du château. Les fondations ont été excavées et restaurées il y a quelques années.
Il mourut à Veere le 22 avril 1669. Il fut inhumé dans l'église de Stavenisse le 4 mai. Son tombeau, que l'on peut encore voir, a été réalisé par le célèbre sculpteur Rombout Verhulst. Margaretha Huyssen s'est ensuite mariée deux fois de plus.
Après la mort de Margaretha, le château n'a presque jamais été utilisé et est tombé dans l'oubli. Les deux hautes cheminées sur le toit avaient déjà disparu dans le dessin de Cornelis Pronk du bâtiment d'env. 1743. Il y a aussi d'autres signes de détérioration dans le dessin.
En 1753, le manoir fut vendu au bailli et brasseur de bière Antoni de Clercq, qui agissait également au nom de Willem Lokker, ancien avocat à Zierikzee et Cornelis van der Lek, secrétaire de Stavenisse.
Peu de temps après, le château a disparu de la surface de la terre. Il était toujours là en 1758, cependant.
Lors de l'introduction du cadastre en 1832, l'ancien parc du château était décrit comme un étang, une pêcherie et un jardin, propriété du seigneur du manoir Johannes de Clercq. Les douves, les murs des douves et les bâtiments devant le château sont restés conservés jusqu'à ce siècle.
En 1995, une réplique de l'un des hommes sauvages a été placée sur le sentier derrière le château. Le parc du château est un monument national.
