Powróciwszy do Francji, rządzonej wówczas przez Napoleona Bonaparte, Jules kontynuował swoją gorliwą lojalność wobec wygnanej rodziny królewskiej. W 1804 roku, rok po śmierci siostry, Jules został wplątany w spisek Cadoudala i Pichegru mający na celu zamordowanie Bonapartego i był więziony do 1813 roku. Po przywróceniu Burbonów był nagradzany różnymi honorami i stanowiskami. Piastował różne urzędy, w 1820 r. otrzymał od papieża tytuł „księcia”, a w 1823 r. król Ludwik XVIII uczynił go ambasadorem w Wielkiej Brytanii. Rok później były przyjaciel jego matki wstąpił na tron jako król Karol X. Sympatie polityczne Polignaca nie zmieniły się i był on jednym z najbardziej widocznych ultrakrólów w okresie Restauracji.
W tym czasie krążyły pogłoski, że Polignac popierał ultrakrólewską politykę, ponieważ myślał, że otrzymuje natchnienie od Dziewicy Maryi. Niewiele jest jednak dowodów historycznych na tę historię. Nie ma wzmianki o takiej motywacji w osobistych wspomnieniach Polignaca lub w pamiętnikach dworu Restauracji.
W dniu 8 sierpnia 1829 r. Karol X mianował go do ministerstwa spraw zagranicznych, a w listopadzie następnego roku Polignac został przewodniczącym rady, faktycznie najpotężniejszym politykiem we Francji. Jego nominacja została uznana za krok w kierunku obalenia konstytucji i Polignac, wraz z innymi ministrami, został obarczony odpowiedzialnością za decyzję o wydaniu Czterech Ordynacji, które były bezpośrednią przyczyną rewolucji z lipca 1830 r.
Po wybuchu rewolty, uciekł, błąkając się przez jakiś czas wśród dzikich terenów Normandii, zanim został aresztowany w Granville. Na procesie przed Izbą Lordów został potępiony i skazany na „wieczyste” uwięzienie w zamku w Ham. Skorzystał jednak z amnestii z 1836 roku, kiedy to wyrok zamieniono mu na wygnanie. W czasie niewoli napisał Considerations politiques (1832). Następnie spędził kilka lat na wygnaniu w Anglii, zanim zezwolono mu na ponowny przyjazd do Francji, pod warunkiem, że nigdy więcej nie podejmie zamieszkania w Paryżu.
Według Legacies of British Slave-Ownership w University College London, de Polignac otrzymał zapłatę jako handlarz niewolników w następstwie Slavery Abolition Act 1833 z Slave Compensation Act 1837. Rząd brytyjski zaciągnął pożyczkę w wysokości 15 milionów funtów (wartą 1,43 miliarda funtów w 2021 roku) wraz z odsetkami od Nathana Mayera Rothschilda i Mosesa Montefiore’a, która została następnie spłacona przez brytyjskich podatników (zakończyła się w 2015 roku). de Polignac był związany z trzema różnymi roszczeniami, był właścicielem 628 niewolników na Saint Vincent i Grenadynach i otrzymał wówczas wypłatę w wysokości 15 765 funtów (wartą 1,51 miliona funtów w 2021 roku). Chociaż „cudzoziemiec”, de Polignac miał powiązania w Imperium Brytyjskim ze względu na swoją szkocką żonę, Barbarę Campbell (1788-1819), córkę Duncana Campbella z Ardnave.
Z drugiego małżeństwa z Marią-Charlotte, Jules de Polignac miał siedmioro dzieci, w tym książę Ludovic de Polignac (1827-1904), podpułkownik w armii francuskiej, który uczestniczył w kolonizacji Algierii; Książę Camille Armand Jules Marie de Polignac (1832-1913), generał major w Armii Konfederacji podczas amerykańskiej wojny secesyjnej; i książę Edmond de Polignac (1834-1901), kompozytor, teoretyk muzyki i zwolennik skali oktatonicznej.
Jules zmarł w St. Germain w 1847 roku z powodu skutków jego uwięzienia. Około miesiąc wcześniej przyjął tytuł duc de Polignac po śmierci swojego starszego brata, Armanda, który zmarł bezpotomnie.
Comte Pierre de Polignac, późniejszy książę Pierre, książę Valentinois (ojciec Rainiera III z Monako i tym samym przodek całej obecnej rodziny książęcej) wywodzi się z innej i kadeckiej gałęzi rodu Polignac, która ma tylko rangę comital. Pierre był najmłodszym synem, wywodzącym się od najmłodszego syna pierwszego księcia Polignac.