La seva Vila Vella és un dels testimonis medievals més impressionants que existeixen i està catalogada com a monument historicoartístic nacional. Es conserva pràcticament tot el perímetre emmurallat, construït entre els segles XII i XIV per defensar la població local de les incursions pirates.

A la muralla destaquen tres grans torres cilíndriques de defensa i al punt més alt hi veurà un preciós paisatge de la badia d'aquesta localitat tan idilica de la costa catalana.

Actualment és l'únic exemple de població medieval fortificada que encara existeix al litoral català.

Les torres més conegudes són la torre d’en Joanàs, que presideix la badia; la torre de les Hores, situada a l'entrada del pati d'armes, que deu el nom al fet que era l'únic lloc on es va situar un rellotge públic; i la torre des Codolar, també coneguda com la torre de l'Homenatge, que presideix la platja des Codolar.

L'interior de la Vila Vella és un espai encantador de carrerons estrets pavimentats amb còdols que, en el moment de la seva màxima esplendor (s. XV), integrava una vuitantena de cases, moltes de les quals van aprofitar el mur de la muralla com a paret de fons .