Nei pressi dell'Abbazia, si notano i resti del ponte di epoca romana che ha dato il nome al paese. Il pons sul torrente era l'unico in pietra, ad pontem lapideum, tra gli altri che attraversavano l'Alenta. Nel crocevia del ponte e della Via Latina transitavano i pellegrini diretti al Gargano che visitavano per l'occasione l'Abbazia. Ai tempi dei Baroni di Ponte, è certa la presenza in prossimità del ponte di un luogo chiamato ancora oggi "borgo-taverna" dove i viandanti potevano riposare. Per attraversare il ponte dovevano pagare il pedaggio ai signori del castello. Il ponte è anche documentato come svincolo per i tratturi della transumanza. Questi luoghi sono stati testimoni anche di fatti tragici e violenti, come quelli accaduti nell’ottobre 1943, quando, come ricordato in un inedito memoriale dal generale tedesco von Vietinghoff "…. presso il ponte della località Ponte si registrarono il 7 ottobre violenti scontri, nel corso dei quali il nemico riuscì a formare (e a difendere con successo ) delle teste di ponte. Tutti i contrattacchi fallirono. Le speranze di aver trovato sul Calore una posizione difensiva che avrebbe potuto essere mantenuta per un periodo più o meno lungo andava scemando".