Costruito tra il 1624 ed il 1626 per volere di Papa Urbano VII Barberini e su progetto di Carlo Maderno, il Palazzo Pontificio venne realizzato sul sito occupato dal Castello dei Savelli; al completamento dell’edificio partecipa anche Gian Lorenzo Bernini che realizza presso i giardini un portale oggi non più esistente e collabora alla realizzazione di un’ala.

La residenza papale viene abbandonata nel 1870, con la caduta dello Stato Pontificio, fino al 1929, quando con i Patti Lateranensi torna ad essere nuovamente la residenza estiva dei Papi. Palazzo Pontificio insieme a Villa Cybo e Villa Barberini costituisce il complesso delle Ville Pontificie che godono del diritto di extra-territorialità.

I giardini delle tre residenze costituiscono il Parco delle Ville Pontificie; all’interno della splendida e curatissima area verde è posta la Specola Vaticana, l’Osservatorio Astronomico, e i resti della Villa dell’imperatore romano Domiziano, di cui si sono conservati un grande criptoportico, i resti di un teatro e diverse esedre, nonché qualche tratto stradale ricoperto dall’originale basolato.