La rocca, probabilmente costruita da Fildesimo (1190-1251) intorno al 1215, rappresentava il fasto del castello dei signori Da Mogliano. All’interno delle mura sorgeva una torre altissima, simbolo del borgo, che compare nel sigillo comunale fin dal 1374.
La rocca fu demolita dopo la caduta di Gentile, signore di Fermo, verso il 1376, ricostruita dai fermani nel 1476 e distrutta nuovamente nel 1569. Restano i bastioni, rimaneggiati in più epoche, sopra i quali nel 1698 la Confraternita del Suffragio eresse la propria chiesa.
Il materiale ricavato dalla demolizione della torre servì per costruire l’ultimo e più ampio cerchio di mura, con due porte (a levante e a ponente) e quattordici torrioni a difesa dell’abitato. La tradizione racconta che le provviste venissero portate in alto a dorso di asini lungo una scala a chiocciola e che la torre potesse ospitare fino a trecento soldati. La sua altezza era tale che, nelle sere estive, la sua ombra copriva il piano di Santa Colomba.

Dalla posizione più alta del paese, la Rocca domina il panorama: dal monte Conero al San Vicino, dai Sibillini ai Monti della Laga e al Gran Sasso. Simbolo del borgo, appare nel sigillo comunale fin dal 1374.