L’arqueologia no ha permès, fins ara, determinar si la vila original del segle XI ja disposava d’un sistema defensiu propi. El que sí que es pot afirmar amb certesa és que, al segle XIV, la vila medieval es va dotar d’unes muralles potents que l’envoltaven completament, deixant fora del recinte únicament els barris del port i dels pescadors, situats al sector sud.

La construcció de la muralla va ser una obra llarga i costosa. Actualment, només són visibles els trams est i sud, així com la cara interior del tram oest, que va ser reutilitzada com a límit del talús de la muralla de la Ciutadella.

El sistema constructiu de la muralla presenta lleugeres variacions segons el sector. En alguns trams, el mur és simple, amb una amplada aproximada d’un metre. En canvi, a la banda est, la muralla és doble, formada per dos murs paral·lels d’uns cinquanta centímetres d’amplada cadascun. Aquesta solució constructiva respon a la necessitat d’adaptar‑se al pendent del terreny, ja que el parament exterior havia de ser més alt en incorporar la fondària del fossat exterior.

Al sector sud, on el substrat estava format per sorres de platja, va ser necessari construir uns fonaments més amples i profunds per garantir l’estabilitat de la muralla.

El recinte defensiu comptava amb torres de planta circular i amb un seguit d’obertures estretes i allargades —espitlleres— que permetien als defensors disparar amb arcs i ballestes. Algunes d’aquestes obertures es van adaptar posteriorment a l’ús d’armes de foc.