Аббатский дворец в Оливе возведен в XV столетии для настоятеля монахов-цистерцианцев Яна Грабинского. Первоначальное сооружение было готическим, сейчас от него сохранилась только небольшая часть, известная как "Старый дворец". Здесь можно увидеть остатки древней кирпичной кладки и высокие сводчатые потолки. Современный облик здание приобрело в 1577 году, когда под руководством Яцека Рыбинского оно было перестроено в стиле рококо. Эта нарядная часть комплекса теперь называется "Новым дворцом".
Снаружи здание окружает красивый парк, а в его внутренних помещениях разместился филиал Национального музея в Гданьске. Выставки этого учреждения посвящены современному польскому искусству, здесь демонстрируются живопись, скульптура и керамика XIX-XX веков. В залах Аббатского дворца в Оливе можно увидеть работы Тадеуша Кантора, Ежи Новосельского, Анджея Врублевского, Здзислава Бексиньского. В так называемой "Рекламной галерее" выставлены работы молодых художников.