Da han vendte tilbage til Frankrig, som dengang blev regeret af Napoleon Bonaparte, fortsatte Jules sin nidkære loyalitet over for den kongelige familie i eksil. I 1804, et år efter sin søsters død, blev Jules indblandet i Cadoudals og Pichegru’s sammensværgelse om at myrde Bonaparte, og han blev fængslet indtil 1813. Efter Bourbonernes genoprettelse blev han belønnet med forskellige hædersbevisninger og stillinger. Han beklædte forskellige embeder, fik af paven sin titel “prins” i 1820, og i 1823 gjorde kong Louis XVIII ham til ambassadør i Storbritannien. Et år senere besteg hans mors tidligere ven tronen som kong Charles X. Polignacs politiske sympatier ændrede sig ikke, og han var en af de mest iøjnefaldende ultraroyalister under restaurationstiden.
Der gik dengang rygter om, at Polignac støttede ultraroyalistisk politik, fordi han troede, at han modtog inspiration fra Jomfru Maria. Der er dog kun få historiske beviser for denne historie. Der er ingen omtale af en sådan motivation i Polignacs personlige erindringer eller i erindringer fra restaurationshoffet.
Den 8. august 1829 udnævnte Karl X ham til udenrigsminister, og i den følgende november blev Polignac præsident for rådet, hvilket i praksis var den mest magtfulde politiker i Frankrig. Hans udnævnelse blev anset for at være et skridt i retning af at vælte forfatningen, og Polignac blev sammen med andre ministre holdt ansvarlig for beslutningen om at udstede de fire bekendtgørelser, som var den umiddelbare årsag til revolutionen i juli 1830.
Da oprøret brød ud, flygtede han og vandrede i nogen tid rundt i Normandiets vildmark, inden han blev arresteret i Granville. Ved sin retssag for kammeradvokaten blev han dømt til “evig” fængselsstraf på slottet i Ham. Men han nød godt af amnestien i 1836, hvor hans dom blev omstødt til eksil. Under sit fangenskab skrev han Considerations politiques (1832). Herefter tilbragte han flere år i eksil i England, inden han fik lov til at vende tilbage til Frankrig på betingelse af, at han aldrig mere tog ophold i Paris.
Ifølge Legacies of British Slave-Ownership på University College London fik de Polignac i kølvandet på Slavery Abolition Act 1833 med Slave Compensation Act 1837 en betaling som slavehandler. Den britiske regering optog et lån på 15 mio. pund (værdi 1,43 mia. pund i 2021) med renter fra Nathan Mayer Rothschild og Moses Montefiore, som efterfølgende blev betalt af de britiske skatteydere (ophørte i 2015). de Polignac var forbundet med tre forskellige krav, han ejede 628 slaver i Saint Vincent og Grenadinerne og modtog dengang en betaling på 15 765 pund (værdi 1,51 mio. pund i 2021). Selv om de Polignac var “udlænding”, havde han forbindelser i det britiske imperium på grund af sin skotske hustru, Barbara Campbell (1788-1819), datter af Duncan Campbell af Ardnave.
Fra sit andet ægteskab med Maria-Charlotte havde Jules de Polignac avlet syv børn, herunder prins Ludovic de Polignac (1827-1904), der var oberstløjtnant i den franske hær og deltog i koloniseringen af Algeriet; prins Camille Armand Jules Marie de Polignac (1832-1913), generalmajor i den konfødererede hær under den amerikanske borgerkrig, og prins Edmond de Polignac (1834-1901), komponist, musikteoretiker og fortaler for den oktatoniske skala.
Jules døde i St. Germain i 1847 af følgerne af sit fængselsophold. Ca. en måned forinden havde han overtaget titlen som duc de Polignac efter sin storebror Armand, der var død uden børn.
Comte Pierre de Polignac, senere prins Pierre, hertug af Valentinois (far til Rainier III af Monaco og dermed forfader til hele den nuværende fyrsteslægt), nedstammer fra en anden og kadetgren af Polignac-familien, som kun har den komitale rang. Pierre var den yngste søn, der nedstammede fra den yngste søn af den første hertug af Polignac.