Sotto il nome di Castrum Paoli è conosciuto fin dal X secolo perchè nel 915 vi si ricorda una rocca appartenente alla gens Anicia. Fu successivamente governato dalla famiglia Conti che tenne il feudo per sei secoli (1200-1808). Questo passò poi agli Sforza - Cesarini e ai Torlonia.

Il paese ha una particolarissima struttura urbanistica a spina di pesce. Lungo la strada che attraversa l'abitato, si intersecano 35 vicoli alcuni dei quali poco più larghi di un metro.