Palattuaan Ranskaan, jota tuolloin hallitsi Napoleon Bonaparte, Jules jatkoi kiihkeää uskollisuuttaan maanpaossa elävälle kuninkaalliselle perheelle. Vuonna 1804, vuosi sisarensa kuoleman jälkeen, Jules sekaantui Cadoudalin ja Pichegrun salaliittoon Bonaparten salamurhasta, ja hänet vangittiin vuoteen 1813 asti. Bourbonien palauttamisen jälkeen hänet palkittiin erilaisilla kunnianosoituksilla ja viroilla. Hän toimi erilaisissa viroissa, sai paavilta ”prinssin” arvonimen vuonna 1820, ja vuonna 1823 kuningas Ludvig XVIII nimitti hänet suurlähettilääksi Isoon-Britanniaan. Vuotta myöhemmin hänen äitinsä entinen ystävä nousi valtaistuimelle kuninkaana Kaarle X. Polignacin poliittiset sympatiat eivät muuttuneet, ja hän oli yksi restauraation aikakauden silmiinpistävimmistä ultrakuninkaallisista.
Huhuttiin, että Polignac kannatti ultrakuninkaallista politiikkaa, koska hän uskoi saavansa inspiraatiota Neitsyt Marialta. Tästä tarinasta on kuitenkin vain vähän historiallisia todisteita. Polignacin henkilökohtaisissa muistelmissa tai restauraatiohovin muistelmissa ei ole mainintaa tällaisesta motivaatiosta.
Kaarle X nimitti hänet 8. elokuuta 1829 ulkoministeriöön, ja seuraavassa marraskuussa Polignacista tuli neuvoston puheenjohtaja, käytännössä Ranskan vaikutusvaltaisin poliitikko. Hänen nimitystään pidettiin askeleena kohti perustuslain kumoamista, ja Polignacia pidettiin muiden ministerien kanssa vastuullisena päätöksestä antaa neljä asetusta, jotka olivat heinäkuun 1830 vallankumouksen välitön syy.
Kapinan puhjettua hän pakeni ja vaelteli jonkin aikaa Normandian erämaissa ennen kuin hänet pidätettiin Granvillessä. Oikeudenkäynnissä Peersin kamarissa hänet tuomittiin ”ikuiseen” vankeuteen Hamin linnaan. Hän hyötyi kuitenkin vuoden 1836 armahduksesta, jolloin hänen tuomionsa muutettiin maanpakoon. Vankeutensa aikana hän kirjoitti teoksen Considerations politiques (1832). Sen jälkeen hän vietti useita vuosia maanpaossa Englannissa, ennen kuin hänelle annettiin lupa palata Ranskaan sillä ehdolla, ettei hän enää koskaan asettuisi asumaan Pariisiin.
Lontoon University College Londonissa toimivan Legacies of British Slave-Ownership -teoksen mukaan de Polignac sai maksun orjakauppiaana vuoden 1833 Slavery Abolition Actin (orjuuden lakkauttamislaki 1833) jälkimainingeissa vuoden 1837 Orjankorvauslailla. Ison-Britannian hallitus otti Nathan Mayer Rothschildilta ja Moses Montefiorelta 15 miljoonan punnan lainan (arvoltaan 1,43 miljardia puntaa vuonna 2021) korkoineen, jonka Ison-Britannian veronmaksajat sittemmin maksoivat takaisin (päättyi vuonna 2015). de Polignac liittyi kolmeen eri korvausvaatimukseen, hän omisti 628 orjaa Saint Vincentissä ja Grenadineilla, ja hän sai tuolloin maksun, joka oli suuruudeltaan 15 765 puntaa (arvoltaan 1,51 miljoonaa puntaa vuonna 2021). Vaikka de Polignac oli ”ulkomaalainen”, hänellä oli yhteyksiä brittiläiseen imperiumiin skotlantilaisen vaimonsa Barbara Campbellin (1788-1819), Ardnaven Duncan Campbellin tyttären, ansiosta.
Toisesta avioliitostaan Maria-Charlotten kanssa Jules de Polignac oli saanut seitsemän lasta, muun muassa prinssi Ludovic de Polignacin (1827-1904), joka oli Ranskan armeijan everstiluutnantti ja osallistui Algerian kolonisointiin; prinssi Camille Armand Jules Marie de Polignac (1832-1913), Yhdysvaltain sisällissodan aikana Konfederaation armeijan kenraalimajuri, ja prinssi Edmond de Polignac (1834-1901), säveltäjä, musiikkiteoreetikko ja oktaatonisen asteikon puolestapuhuja.
Jules kuoli St Germainissa vuonna 1847 vankeutensa seurauksiin. Noin kuukautta aiemmin hän oli ottanut vastaan duc de Polignacin arvonimen vanhemman veljensä Armandin kuoltua, joka oli kuollut lapsettomana.
Comte Pierre de Polignac, myöhempi ruhtinas Pierre, Valentinois’n herttua (Monacon Rainier III:n isä ja näin ollen koko nykyisen ruhtinassuvun kantaisä) polveutuu Polignacin suvun toisesta ja kadettisuvun haaraosastosta, jolla on vain comitalin arvo. Pierre oli nuorin poika, joka polveutui ensimmäisen Polignacin herttuan nuorimmasta pojasta.