Rond 1400 werd door Ritske Jelmera, een ontwikkeld en tot de Friese adel behorende man, in Ballum een slot gebouwd dat geërfd werd door Hayo Jelmera, later bekend als Hayo van Cammingha. Na die jaren volgde een tweehonderd jaar durend bewind van de Cammingha’s. In die tijd was er wat onenigheid met de watergeuzen maar over het algemeen wist men op het eiland neutraal te blijven, ook in de oorlog tussen Spanje en Nederland. Deze neutraliteit werd erkend door de Staten van Friesland, maar niet door de Staten-Generaal en de Staten van Holland, die zelf aanspraak op het eiland meenden te hebben. Tot 1600 bleef het op Ameland onrustig, omdat de eilanders meenden dat de heersers van Ameland te veel macht hadden. Daar werd met harde hand een eind aan gemaakt en in 1629, toen Spanje opnieuw Amelands neutraliteit erkende, keerde de rust terug. De laatste Cammingha stierf in 1681 en het eiland ging over in handen van de familie Theo Schwartsenberg Hohenlandsberg, die het in 1704 verkocht aan Johan Willem Friso, erfstadhouder van Friesland en prins van Oranje. Na diverse malen van bewoner te zijn gewisseld, kwam het slot in handen van koopman Jan Scheltema, die het voor afbraak gekocht had, en in 1829 werd het met de grond gelijk gemaakt.