L’antropizzazione del territorio di Castelpagano, è remota. Essa è documentata da vari rinvenimenti tra cui resti umani e utensili lapidei risalenti al quinto millennio a.C.; del resto lungo tutta la fascia tratturale sono documentati insediamenti che risalgono al periodo paleolitico e ancora più indietro. Ciò che maggiormente identifica questo territorio è l’appartenenza alla cultura sannitica della tribù dei Pentri (VI -III secolo a.C.) che si manifesta attraverso un sistema insediativo diffuso, il cosiddetto modello paganico-vicano. Questo modello è caratterizzato da un ambito territoriale ben delimitato ( pagus) pertinente ad una comunità e dotato di strutture ad uso differenziato ( vici, fora, templa, oppida, ecc…).
Gli insediamenti utilizzavano alternativamente le zone pedemontane e quelle di altura in modo da favorire un’economia agricolo-pastorale. I siti preferiti erano, in generale, quelli posti lungo percorsi di lunga portata, in particolare presso le fasce tratturali attraverso cui avvenivano le migrazioni stagionali di greggi e armenti.
Castelpagano, col suo nucleo abitato, sorge proprio in vicinanza del Tratturo Regio ed era intercettata fino agli inizi del XVIII secolo da un braccio tratturale che univa il percorso suindicato col tratturo Castel di Sangro-Lucera.
L’antichità del nucleo abitato, oltre che dal significato etimologico del toponimo, è confermata dalle due statuine bronzee di Eracle, rinvenute a Castelpagano e conservate presso il Museo del Sannio di Benevento sezione archeologica, che sono esempi di arte italica nell’area sannitica del V sec. a. C..
In epoca altomedievale doveva essere un piccolo casale. Divenne feudo in epoca normanna prima facendo parte della contea di Buonalbergo, poi della contea di Civitate. In questo periodo (XI-XII secolo) fu fondato, molto probabilmente il castello. Nella fase iniziale di strutturazione del feudo la forma della fortificazione doveva essere molto diversa da quella che oggi si vede. Si può supporre che l’accesso al borgo avvenisse dalla parte del torrente alle spalle dell’attuale nucleo urbano. Il castello, a sua volta, doveva coprire un’area ben più ampia che comprendeva anche il sito dell’attuale chiesa parrocchiale e del tessuto edilizio a questa contiguo fino al limite della piazza o forse anche oltre, proseguendo per la strada che passa davanti alla cappella, laddove si intravede la morfologia di una torre.
In epoca angioina, quando nella zona vi fu una profonda riorganizzazione dei feudi, il castello fu ristrutturato con la forma a blocco che in parte oggi sopravvive. Purtroppo nell’interno del castello non si trovano resti dell’assetto tardo medievale, intorno al XVII secolo, infatti, il feudo passò alla famiglia Mormile che ebbe tra i suoi esponenti un diplomatico, ambasciatore a Parigi tra la fine del XVIII e gli inizi del XIX secolo. Fu, verosimilmente, quest’ultimo a trasformare il castello in una villa alla maniera francese (edificio a pavillon con belvedere).