Tra i centri abitati dell’Alto Sannio, Colle è quello che più presenta le caratteristiche degli insediamenti urbani medievali molisani privi del castello sommitale. Il suo nucleo medievale arroccato su un’altura è, infatti, dominato da una chiesa intorno a cui si addensa in modo concentrico il tessuto edilizio. Si suppone che la denominazione derivi, appunto, dalla conformazione del sito. Non si hanno in merito, tuttavia, notizie precise. La documentazione più lontana nel tempo risale al XII secolo (Catalogo delle Crociate) e attesta l’esistenza di un semplice casale tenuto in feudo da un non ben identificato normanno di nome Riccardo. Colle continuò ad essere definito casale anche in epoca angioina e solo agli inizi del XV secolo viene riconosciuto come centro abitato fortificato (castello).
Si evidenziano, all’interno della struttura urbana, oltre all’accentramento edilizio intorno alla chiesa di S. Giorgio (dedicazione non priva di significato per la datazione della fase iniziale del popolamento), altri due aggregati di case di limitata estensione e dal perimetro approssimativamente ellittico.
In ogni caso la costruzione di due splendidi edifici religiosi tardo medievali di particolare pregio architettonico come la già ricordata chiesa di S. Giorgio e quella dell’Annunziata testimoniano una condizione socio-economica già evoluta. Indipendentemente dai requisiti artistici rilevati, della presenza di un organizzazione amministrativa autonoma si ha certezza solo nel 1642 quando l’Univeritas civium risulta dotata di un sindaco e, si presume, di altre magistrature.
Fino all’epoca pre-moderna il centro abitato doveva, comunque, estendersi poco al di là del piede della collina. Tra il XVIII ed il XIX secolo, forse anche in forza dell’ultimo ciclo delle attività della transumanza, si registrò lo sviluppo maggiore di Colle che giunse a triplicare l’area urbana e a moltiplicare il suo patrimonio edilizio come accadde ad altri paesi collegati al Regio Tratturo. Lungo le direttrici viarie che si dirigevano verso il borgo medievale e in particolare verso l’attuale piazza F. Flora si formò un tessuto edilizio fatto di case unifamiliari a schiera tra cui si distinguono la case palazziate del ceto civile.
Nel territorio di Colle è incluso il feudo di Decorata documentato nell’XI secolo, dove sorgeva l’abbazia di S. Maria, restata a lungo in possesso degli arcivescovi beneventani, e dove si trovava uno dei più grandi boschi dell’Alto Tammaro.