Около 1400 года Рицке Елмера, развитый человек, принадлежащий к фризской знати, построил в Баллуме замок, который унаследовал Хайо Джельмера, позже известный как Хайо ван Каммингха. После этих лет последовало двухсотлетнее правление Каммингхов. В то время были некоторые разногласия с морскими нищими, но в целом людям удавалось сохранять нейтралитет на острове, даже в войне между Испанией и Нидерландами. Этот нейтралитет был признан штатами Фрисландия, но не Генеральными штатами и штатами Голландии, которые сами считали, что у них есть права на остров. До 1600 года он оставался неспокойным на Амеланде, поскольку островитяне считали, что правители Амеланда обладают слишком большой властью. Этому пришлось положить конец тяжелой рукой, и в 1629 году, когда Испания снова признала нейтралитет Амеланда, мир вернулся. Последняя Каммингха умерла в 1681 году, и остров перешел в руки семьи Тео Шварценберга Хоэнландсберга, которая продала его в 1704 году Йохану Виллему Фризо, потомственному землевладельцу Фрисландии и принцу Оранскому. После того, как несколько раз меняли жильцов, замок перешел в руки купца Яна Шельтема, который купил его для сноса, а в 1829 году его сровняли с землей.