Точная дата возникновения Берге неизвестна. Первое упоминание о замке связанно с именем рыцаря Дитриха фон Берге (1272 год). Именно он был владельцем поместья. После его смерти эти владения передавались от отца к сыну в течение шести поколений, пока не умер последний представитель рода – Герлах фон Берге. Он был бездетным, и поэтому его жене пришлось продать имение рыцарю Генриху фон Бакему.
Мужская линия фон Бакемов так же прервалась. Случилось это в 1521 году, когда умер Йорген фон Бакем. Тогда замок перешел во владение Георгу фон Боенену – супругу Гартлиб фон Бакем (дочери Йоргена).
В 1530 году замок Берге начинают перестраивать, чтобы сделать укрепление удобным для жизни. Следующие 250 лет были ознаменованы сильным подъемом семейства фон Боененов, что, конечно же, сказалось на развитии замка. В это время он становится одним из самых влиятельных мест к северу от Эмшера. В начале XVIII века в южной части поместья разбивается парковая зона, оформленная во французском стиле.
В 1790 году фрайхерр Лудольф Фридрих Адольф фон Боенен получил титул барона. Вскоре он сочетался браком с Вильгельминой Франциской графиней фон Вестерхольт-Гюсенберг, что дало семейству право именоваться фон Вестерхольт. Титул графа потребовал от владельцев имения его полной реконструкции, поэтому в 1785 году начинается перестройка Берге.
Замок изменяется в соответствии с проектом Энгельберта Клайнхансца – архитектора Верденского аббатства. В это время Бегре начинает перенимать черты раннего классицизма. Парковая зона разрастается на запад, где разбивается новый сад, но уже в английском стиле. Все эти преображения придали замку Берге изящность и великолепие, и повлекли за собой визиты таких людей как маршал Блюхер и Наполеон Бонапарт.
Последней владелицей замка была Дженни фон Вестерхольт. После ее смерти здание было арендовано хозяйственным предприятием города Бюр. В 1924 году город выкупил замок и прилегающий к нему парк площадью 102 га за 1,4 миллиона золотых марок. С 1926 года замок реконструируется, принимая вид, который он имел в XVIII веке. Парковая зона замка увеличивается на 73 га, оригинальные скульптуры меняются на копии. В 1930 году перед замком разбивают пруд. Полное благоустройство территории заканчивается в 1933 году.
Национал-социализм приносит замку опустошение. Уничтожаются все хозяйственные постройки, за исключением конюшни, которая была снесена в 1983. Здание используется как учебный центр Национал-социалистической немецкой рабочей партии (НСДАЛ).
В 1952-1953 годах, после Второй мировой войны, замок снова реставрируется. Специалисты провели огромные работы по восстановлению интерьеров и воссозданию атмосферы прошлого. Вместе с этими работами проводится переоборудование замка в гостиницу. В дальнейшем замок реставрировался еще дважды: в 1977-1978 и 2003-2004 годах.
В наше время вид замка Берге несет в себе черты классицизма и барокко. В 2004 году замок был переоборудован изнутри, чтобы соответствовать всем требованиям современной гостиницы.
