I sin återkomst till Frankrike, som då styrdes av Napoleon Bonaparte, fortsatte Jules sin nitiska lojalitet mot den exilerade kungafamiljen. År 1804, ett år efter sin systers död, blev Jules inblandad i Cadoudals och Pichegrus konspiration för att mörda Bonaparte, och fängslades fram till 1813. Efter Bourbonernas återupprättande belönades han med olika hedersbetygelser och befattningar. Han innehade olika ämbeten, fick 1820 av påven titeln ”prins” och 1823 utnämnde kung Ludvig XVIII honom till ambassadör i Storbritannien. Ett år senare besteg hans mors tidigare vän tronen som kung Charles X. Polignacs politiska sympatier förändrades inte, och han var en av de mest iögonfallande ultraroyalisterna under restaurationstiden.
Det ryktades då att Polignac stödde ultraroyalistisk politik eftersom han trodde att han fick inspiration från Jungfru Maria. Det finns dock få historiska bevis för denna historia. Det finns inget omnämnande av en sådan motivation i Polignacs personliga memoarer eller i memoarer från restaurationsdomstolen.
Den 8 augusti 1829 utnämnde Karl X honom till utrikesminister och i november följande år blev Polignac ordförande i rådet, i praktiken den mäktigaste politikern i Frankrike. Hans utnämning ansågs vara ett steg mot att störta konstitutionen och Polignac, tillsammans med andra ministrar, hölls ansvarig för beslutet att utfärda de fyra förordningarna, som var den omedelbara orsaken till revolutionen i juli 1830.
När revolten bröt ut flydde han och irrade en tid runt i Normandies vildmark innan han arresterades i Granville. Vid rättegången inför kammaren dömdes han till ”evigt” fängelsestraff på slottet i Ham. Men han gynnades av 1836 års amnesti, då hans straff omvandlades till exil. Under sin fångenskap skrev han Considerations politiques (1832). Därefter tillbringade han flera år i exil i England innan han fick tillåtelse att återvända till Frankrike, på villkor att han aldrig mer skulle bosätta sig i Paris.
Enligt Legacies of British Slave-Ownership vid University College London fick de Polignac ersättning som slavhandlare i efterdyningarna av Slavery Abolition Act 1833 med Slave Compensation Act 1837. Den brittiska regeringen tog ett lån på 15 miljoner pund (värt 1,43 miljarder pund 2021) med ränta från Nathan Mayer Rothschild och Moses Montefiore som senare betalades av de brittiska skattebetalarna (upphörde 2015). de Polignac förknippades med tre olika anspråk, han ägde 628 slavar i Saint Vincent och Grenadinerna och fick en utbetalning på 15 765 pund vid den tidpunkten (värd 1,51 miljoner pund 2021). Även om de Polignac var en ”utlänning” hade han kontakter i det brittiska imperiet tack vare sin skotska hustru Barbara Campbell (1788-1819), dotter till Duncan Campbell av Ardnave.
Från sitt andra äktenskap med Maria-Charlotte hade Jules de Polignac fått sju barn, däribland prins Ludovic de Polignac (1827-1904), överstelöjtnant i den franska armén som deltog i koloniseringen av Algeriet; Prins Camille Armand Jules Marie de Polignac (1832-1913), generalmajor i den konfedererade armén under det amerikanska inbördeskriget, och prins Edmond de Polignac (1834-1901), kompositör, musikteoretiker och förespråkare av den oktatoniska skalan.
Jules dog i St Germain 1847 av effekterna av sitt fängelsestraff. Ungefär en månad tidigare hade han antagit titeln duc de Polignac efter sin äldre bror Armand, som hade dött utan barn.
Comte Pierre de Polignac, sedermera prins Pierre, hertig av Valentinois (far till Rainier III av Monaco och därmed förfader till hela den nuvarande furstefamiljen) härstammar från en annan och kadettgren av familjen Polignac, som endast har comital rang. Pierre var den yngste sonen, som härstammar från den yngste sonen till den första hertigen av Polignac.