L’esistenza della costruzione è attestata dal 1453 e i passaggi di proprietà seguono l’avvicendarsi delle famiglie che governarono la Baronia di Santo Stefano. Nel 1745 fu ricostruito quasi totalmente dal principe Emanuele Ventimiglia e un altro restauro fu eseguito nel 1830. Oggi l’edificio è proprietà privata e la muratura originale in pietra e calce è coperta dal cemento aggiunto in tempi moderni.

A nord del castello e quasi al centro della piazza svetta la fontana in pietra calcarea, realizzata presumibilmente verso la metà del XVIII secolo e donata nel 1892 dal Principe di Pandolfina. Alta circa sette metri, si sviluppa con struttura piramidale su un basamento di tre gradini. Il fusto centrale, intagliato, è scandito da una grande vasca a terra e altre tre consecutive, decrescenti in ordine di grandezza. La vasca più grande ha la forma di un quadrato i cui lati sono interrotti al centro da semicirconferenze; proseguendo lungo il fusto, la seconda vasca ha il bordo formato da quattro lobi, mentre le altre due hanno forma circolare. Sulla cima è presente un’idra a tre teste dalle cui bocche sgorga l’acqua che riempie le vasche sottostanti.

Sulla piazza troviamo un altro interessante edificio, Casa Palma. Costruita nei primi anni del Novecento, è un’elegante dimora gentilizia a pianta rettangolare circondata da lunghi balconi alternati da vasi con fiori.