El comandant de la fortalesa, o governador, així com els principals oficials, disposaven habitualment de residències còmodes i adequades al seu estatus.

L’edifici conegut actualment com la casa del governador sembla haver‑se construït a partir de la fusió de diverses cases de la vila medieval. Va ser utilitzat com a residència del comandant de la plaça durant la segona meitat del segle XVII. Posteriorment, l’edifici va quedar abandonat, i el cap de la plaça va traslladar la seva residència a un altre immoble situat a tocar del portal de Mar, del qual avui no se’n conserva cap resta.

Es tracta d’un edifici de planta quadrangular, amb la porta principal orientada a l’est. Alguns dels murs exteriors, especialment el del sector oest, presenten un perfil atalussat, pensat com a protecció davant l’impacte de projectils d’artilleria. Als sectors nord i oest s’hi van afegir posteriorment altres construccions, utilitzades respectivament com a cavallerissa i com a magatzem per emmagatzemar palla.

A l’interior, l’edifici s’organitzava al voltant d’un pati central, que proporcionava llum a les estances i on se situava l’escala d’accés al primer pis. A la banda sud del conjunt s’hi recolza una plataforma quadrangular singular, que funcionava com a terrassa i que es va construir aprofitant el traçat de l’antiga muralla medieval.