Ritske Jelmera, ein entwickelter Mann des friesischen Adels, baute um 1400 in Ballum eine Burg, die von Hayo Jelmera, später bekannt als Hayo van Cammingha, geerbt wurde. Nach diesen Jahren folgte eine zweihundertjährige Regierungszeit der Camminghas. Zu dieser Zeit gab es einige Meinungsverschiedenheiten mit den Seebettlern, aber im Allgemeinen gelang es ihnen, auf der Insel neutral zu bleiben, selbst im Krieg zwischen Spanien und den Niederlanden. Diese Neutralität wurde von den Staaten von Friesland anerkannt, aber nicht von den Generalstaaten und den Staaten von Holland, die selbst glaubten, einen Anspruch auf die Insel zu haben. Bis 1600 blieb es auf Ameland unruhig, weil die Inselbewohner glaubten, dass die Herrscher von Ameland zu viel Macht hatten. Dies wurde mit eiserner Faust beendet und 1629, als Spanien erneut die Neutralität Amelands anerkannte, kehrte der Frieden zurück. Der letzte Cammingha starb 1681 und die Insel ging in die Hände der Familie Theo Schwartsenberg Hohenlandsberg über, die sie 1704 an Johan Willem Friso verkaufte, den Erben von Friesland und Prinz von Oranien. Nach mehrmaligem Bewohnerwechsel fiel die Burg in die Hände des Kaufmanns Jan Scheltema, der sie zum Abriss gekauft hatte, und wurde 1829 dem Erdboden gleichgemacht.