Les intérieurs du Palazzo Baronale de San Felice Circeo, résidence historique des grandes familles qui se succédèrent à la tête du fief — Caetani, Ruspoli, Orsini, la Révérende Chambre apostolique et enfin les Poniatowski —, abritent aujourd'hui les services municipaux. On y distingue encore, sous l'arc qui relie le Piazzale San Francesco à la Piazza Lanzuisi, les vestiges d'une chapelle que les Caetani firent bâtir au XVIIe siècle au sein du complexe baronnial.
Le noyau originel de l'actuel hôtel de ville remonte très probablement à la première moitié du XVIe siècle, lorsque San Felice était sous la domination de la famille Caetani. Après une longue période de splendeur, le bourg connut en effet, à partir du Moyen Âge, des siècles sombres et des fortunes diverses. Des destructions implacables, comme celles des peuples barbares et des troupes d'Alphonse d'Aragon, alternèrent avec des reconstructions efficaces mais éphémères, telles celles entreprises par les moines templiers qui, au XIIIe siècle, édifièrent dans l'antique cité de Circeii une première structure fortifiée dotée d'une tour et d'un couvent. Mais ce n'est que sous le pontificat de Jules II, en 1506, qu'une bulle officielle permit à Guglielmo Caetani de reconstruire et de repeupler durablement le « castrum Sancti Felicis ». Celui-ci éleva un vaste palais sur le site de l'ancienne forteresse, à proximité de l'imposante tour templière.
Il plaça l'entrée principale de la forteresse du côté ouest du village : une porte en arc, protégée par un fossé et reliée par un pont-levis. D'autres améliorations et agrandissements importants ne furent apportés au palais qu'au siècle suivant, notamment la construction d'une église aujourd'hui malheureusement disparue (dont on voit encore l'architrave sur le côté sud-ouest de l'édifice) et d'un bastion destiné à protéger le palais. L'aspect actuel du palais résulte des transformations majeures voulues par le prince Stanislas Poniatowski.
Il fit appel à de nombreux artistes pour mener à bien ces travaux, parmi lesquels se distingue l'architecte néoclassique Giuseppe Valadier, qui séjourna à plusieurs reprises au Circeo.
Depuis lors, l'édifice a accueilli tous ceux qui se sont succédé à la tête du village : des membres de la famille Aguet, plusieurs podestats et enfin, depuis 1957, les services de la commune de San Felice Circeo.
Après avoir gravi l'escalier en perspective, aux marches d'abord carrées puis arrondies vers le haut, on découvre au premier étage la magnifique salle du conseil et ses décors du XIXe siècle.
Elle communique, dans l'ancien « appartement noble », avec les bureaux du maire et de son secrétaire : le premier est orné d'une fresque majestueuse et singulière représentant la carte du promontoire du Circeo tel qu'il était autrefois, tandis que la voûte du second est décorée de fresques sur le thème de la musique.
Bien que profondément restaurées, ces pièces sont celles-là mêmes qui, au fil des siècles, accueillirent d'illustres personnages en visite au Circeo.
Au dernier étage, dans la partie qui rejoint la tour templière, se trouvent les décors les plus beaux et les plus anciens : dans l'actuel bureau technique, les murs sont couverts de fresques florales et un ancien poêle à bois en porcelaine rouge attire le regard ; dans les bureaux du service des Travaux publics, les peintures du XIXe siècle, plus variées, sont d'une grande qualité : on passe d'une pièce aux tons jaunes à une coupole bleue ornée de motifs évoquant des villes.
Plus loin, on arrive dans une pièce aux murs entièrement couverts de fresques aux thèmes floraux, mythologiques et naturels, dont les fenêtres offrent un panorama à couper le souffle.