Средневековый замок Пафоса – это береговое укрепление, возведенное в XIII веке Луизиньянами. Первоначальное сооружение в византийском стиле состояло из двух башен, оно было разрушено венецианцами во время османского вторжения на остров в 1570 году. В XVI столетии османы построили новый форт, который по арабской традиции имел кубическую форму. Это здание стоит на берегу гавани до сих пор.
В разное время Средневековый замок Пафоса использовался как сторожевая башня порта, тюрьма, склад соли, а сейчас он превращен в музей. Внутри строения туристы могут рассмотреть камеры узников и помещения для канониров. На площади перед замком проводятся культурные мероприятия. У гостей города большой популярностью пользуется ежегодный Фестиваль Афродиты, проводимый в сентябре. Во время фестиваля перед публикой выступают лучшие оперные певцы мира, а сам замок играет роль декораций. Рядом с крепостью находятся также руины Саранды Колонес (Дворца Сорока Колонн) – еще одного памятника византийского периода.