Po návratu do Francie, kde tehdy vládl Napoleon Bonaparte, pokračoval Jules ve své horlivé loajalitě vůči vyhnané královské rodině. V roce 1804, rok po smrti své sestry, byl Jules zapleten do spiknutí Cadoudala a Pichegrua s cílem zavraždit Bonaparta a byl vězněn až do roku 1813. Po restauraci Bourbonů byl odměněn různými poctami a funkcemi. Zastával různé úřady, v roce 1820 obdržel od papeže titul „kníže“ a v roce 1823 ho král Ludvík XVIII. jmenoval velvyslancem ve Velké Británii. O rok později nastoupil bývalý přítel jeho matky na trůn jako král Karel X. Polignacovy politické sympatie se nezměnily a v éře restaurace patřil k nejviditelnějším ultraroyalistům.
V té době se proslýchalo, že Polignac podporuje ultraroyalistickou politiku, protože se domníval, že přijímá inspiraci od Panny Marie. Pro tuto historku však existuje jen málo historických důkazů. V Polignacových osobních pamětech ani v pamětech restauračního dvora není o takové motivaci žádná zmínka.
Karel X. jej 8. srpna 1829 jmenoval ministrem zahraničních věcí a v listopadu následujícího roku se Polignac stal prezidentem rady, fakticky nejmocnějším politikem ve Francii. Jeho jmenování bylo považováno za krok ke svržení ústavy a Polignac byl spolu s dalšími ministry činěn odpovědným za rozhodnutí vydat Čtyři nařízení, která byla bezprostřední příčinou revoluce v červenci 1830.
Po vypuknutí povstání uprchl a nějakou dobu se potuloval mezi normandskou divočinou, než byl zatčen v Granville. Při procesu před peerskou komorou byl odsouzen k „věčnému“ vězení na zámku v Hamu. Amnestie z roku 1836, kdy mu byl trest změněn na vyhnanství, mu však prospěla. Během svého věznění napsal Considerations politiques (1832). Poté strávil několik let ve vyhnanství v Anglii, než mu byl povolen opětovný vstup do Francie pod podmínkou, že už nikdy nebude pobývat v Paříži.
Podle publikace Legacies of British Slave-Ownership na University College v Londýně získal de Polignac jako obchodník s otroky v návaznosti na zákon o zrušení otroctví z roku 1833 odškodnění zákonem o odškodnění otroků z roku 1837. Britská vláda si od Nathana Mayera Rothschilda a Mosese Montefioreho vzala půjčku ve výši 15 milionů liber (v hodnotě 1,43 miliardy liber v roce 2021) s úroky, kterou následně splatili britští daňoví poplatníci (skončila v roce 2015). de Polignac byl spojován se třemi různými nároky, vlastnil 628 otroků na Svatém Vincentu a Grenadinách a v té době obdržel platbu ve výši 15 765 liber (v hodnotě 1,51 milionu liber v roce 2021). Ačkoli byl de Polignac „cizinec“, měl konexe v britském impériu díky své skotské manželce Barbaře Campbellové (1788-1819), dceři Duncana Campbella z Ardnave.
Z druhého manželství s Marií-Charlotte zplodil Jules de Polignac sedm dětí, včetně prince Ludovica de Polignac (1827-1904), podplukovníka francouzské armády, který se podílel na kolonizaci Alžírska; princ Camille Armand Jules Marie de Polignac (1832-1913), generálmajor konfederační armády během americké občanské války, a princ Edmond de Polignac (1834-1901), skladatel, hudební teoretik a propagátor oktatonické stupnice.
Jules zemřel v roce 1847 v Saint Germain na následky věznění. Asi měsíc předtím přijal titul vévody de Polignac po smrti svého staršího bratra Armanda, který zemřel bezdětný.
Komtes Pierre de Polignac, pozdější kníže Pierre, vévoda z Valentinois (otec Rainiera III. monackého a tedy předek celé současné knížecí rodiny) pochází z jiné a kadetní větve rodu Polignac, která má pouze komitátní hodnost. Pierre byl nejmladším synem, pocházejícím z nejmladšího syna prvního vévody z Polignacu.