Întorcându-se în Franța, care pe atunci era condusă de Napoleon Bonaparte, Jules și-a continuat loialitatea zeloasă față de familia regală exilată. În 1804, la un an după moartea surorii sale, Jules a fost implicat în conspirația lui Cadoudal și Pichegru de a-l asasina pe Bonaparte și a fost încarcerat până în 1813. După restaurarea Bourbonilor, a fost recompensat cu diverse onoruri și funcții. A deținut diverse funcții, a primit de la papă titlul de „Prinț”, în 1820, iar în 1823, regele Ludovic al XVIII-lea l-a numit ambasador în Marea Britanie. Un an mai târziu, fostul prieten al mamei sale a urcat pe tron în calitate de rege Carol al X-lea. Simpatiile politice ale lui Polignac nu s-au schimbat, iar el a fost unul dintre cei mai vizibili ultra-realiști în timpul epocii Restaurației.
La vremea respectivă, se zvonea că Polignac a susținut politicile ultra-realiste deoarece credea că primește inspirație de la Fecioara Maria. Cu toate acestea, există puține dovezi istorice pentru această poveste. Nu există nicio mențiune a unei astfel de motivații în memoriile personale ale lui Polignac sau în memoriile curții Restaurației.
La 8 august 1829, Carol al X-lea l-a numit la Ministerul Afacerilor Externe, iar în noiembrie următor, Polignac a devenit președinte al consiliului, fiind efectiv cel mai puternic politician din Franța. Numirea sa a fost considerată un pas spre răsturnarea constituției și Polignac, împreună cu alți miniștri, a fost considerat responsabil pentru decizia de a emite cele Patru Ordonanțe, care au fost cauza imediată a revoluției din iulie 1830.
La izbucnirea revoltei, el a fugit, rătăcind o perioadă de timp printre sălbăticia Normandiei înainte de a fi arestat la Granville. La procesul său în fața Camerei Preafericiților, el a fost condamnat și a fost condamnat la închisoare „perpetuă” la castelul din Ham. A beneficiat însă de amnistia din 1836, când pedeapsa i-a fost comutată în exil. În timpul captivității sale, a scris Considerations politiques (1832). Ulterior, a petrecut câțiva ani în exil în Anglia, înainte de a i se permite să reintre în Franța, cu condiția de a nu-și mai stabili niciodată reședința la Paris.
Potrivit Legacies of British Slave-Ownership de la University College London, de Polignac a primit o plată în calitate de negustor de sclavi în urma Slavery Abolition Act 1833 cu Slave Compensation Act 1837. Guvernul britanic a contractat un împrumut de 15 milioane de lire sterline (în valoare de 1,43 miliarde de lire sterline în 2021) cu dobândă de la Nathan Mayer Rothschild și Moses Montefiore, care a fost ulterior achitat de către contribuabilii britanici (încheindu-se în 2015). de Polignac a fost asociat cu trei revendicări diferite, a deținut 628 de sclavi în Saint Vincent și Grenadine și a primit o plată de 15.765 de lire sterline la acea vreme (în valoare de 1,51 milioane de lire sterline în 2021). Deși era un „străin”, de Polignac avea legături în Imperiul Britanic datorită soției sale scoțiene, Barbara Campbell (1788-1819), fiica lui Duncan Campbell de Ardnave.
Din cea de-a doua căsătorie cu Maria-Charlotte, Jules de Polignac a avut șapte copii, printre care Prințul Ludovic de Polignac (1827-1904), un locotenent-colonel în armata franceză care a participat la colonizarea Algeriei; Prințul Camille Armand Armand Jules Marie de Polignac (1832-1913), un general-maior în Armata Confederată în timpul Războiului Civil American; și Prințul Edmond de Polignac (1834-1901), compozitor, teoretician muzical și susținător al scalei octatonice.
Jules a murit la St. Germain în 1847 din cauza efectelor încarcerării sale. Cu aproximativ o lună înainte, el își asumase titlul de duce de Polignac la moartea fratelui său mai mare, Armand, care murise fără copii.
Comte Pierre de Polignac, mai târziu Prinț Pierre, Duce de Valentinois (tatăl lui Rainier al III-lea de Monaco și, prin urmare, un strămoș al întregii familii princiare actuale), descinde dintr-o ramură diferită și cadetă a familiei Polignac, care are doar rangul comital. Pierre a fost fiul cel mai tânăr, descendent al fiului cel mai tânăr al primului Duce de Polignac.
.