Un diploma del longobardo Pandolfo, principe di Benevento dal 961 al 991, conservato nell'archivio Arcivescovile di Benevento nomina per la prima volta il comune di Ponte e consente di datare anche la fondazione del suo castello, posteriore all'Abbazia di Santa Anastasia (VIII secolo). Fu proprio dall'Abbazia che l'originaria comunità pontese cominciò ad allontanarsi per cercare un luogo più sicuro, protetto da incursioni e saccheggi, subiti dall'insediamento benedettino, costruito vicino ad una grande via di comunicazione. All’abate Giovanni veniva anche concessa la facoltà di costruire un castello e renderlo abitato. Il castello fu subito realizzato e già nell’anno 1087 il trasferimento della piccola comunità pontese, dall’abbazia al castello doveva essersi completato. E’, infatti, del 1087 un documento che cita come primo signore del castello di Ponte, Baldovino il Normanno, vassallo del conte Rainulfo. Il nuovo centro abitato fu difeso da mura e da torri; alcuni ambienti delle strutture medievali sono oggi inclusi in parte in case di privati ed in parte nella Chiesa del SS. Rosario.  Nel 1134 il castello dovette subire, da parte di re Ruggiero il Normanno, il suo primo assedio con successiva capitolazione. La cronaca dell'assedio e della conquista del castello è descritta dall'abate Alessandro da Telese nell'opera "De rebus gestis Rogerii Siciliae regis". Ai tempi di Federico II fu posseduto da Nebulone di Ponte, il quale ebbe in custodia, prigioniero guelfo, il nobile piacentino Vitolo Palastuello. Nel 1266 fu occupato dalle truppe francesi di Carlo d’Angiò, prima della famosa battaglia con Manfredi di Svevia. Il nuovo sovrano francese, nel 1269, donò il castello a Giovanni Frangipane della Tolfa che, con il suo tradimento, aveva permesso la cattura di Corradino di Svevia. Con tutto il paese il Castello soffrì le gravi calamità che colpirono il territorio di Ponte nella prima metà del XIV secolo: la carestia, una epidemia di peste e un terremoto. Parti del centro storico fortificato furono così irrimediabilmente perse. Le torri superstiti, di forma cilindrica, poste agli angoli del fortilizio a base approssimativamente quadrata, sembrano rimandare alle architetture castellari del XII secolo e sarebbero un rifacimento dell'originaria fortificazione del X secolo. Dell’originario maniero che doveva avere sette torri cilindriche di avvistamento e di difesa, oggi sono ben visibili solo quattro torri, altre due si trovano invece entro le mura che servivano a separare il palazzo ducale dal resto delle residenze. E' di particolare suggestione girovagare oggi tra gli stretti vicoli del borgo medioevale alla scoperta di angoli caratteristici.