Visszatérve Franciaországba, amelyet akkor Bonaparte Napóleon irányított, Jules továbbra is buzgón hűséges maradt a száműzött királyi családhoz. 1804-ben, egy évvel nővére halála után, Jules-t belekeverték Cadoudal és Pichegru összeesküvésébe Bonaparte meggyilkolására, és 1813-ig börtönbe zárták. A Bourbonok restaurációja után különböző kitüntetésekkel és tisztségekkel jutalmazták. Különböző hivatalokat töltött be, 1820-ban a pápától megkapta a “hercegi” címet, 1823-ban pedig XVIII. louis király nagykövetnek nevezte ki Nagy-Britanniában. Egy évvel később édesanyja egykori barátja X. Károly királyként lépett a trónra. Polignac politikai szimpátiája nem változott, és a restauráció korszakában az egyik legfeltűnőbb ultrakirálypárti volt.
Az a hír járta, hogy Polignac azért támogatta az ultrakirálypárti politikát, mert azt hitte, hogy Szűz Máriától kap inspirációt. Erre a történetre azonban kevés történelmi bizonyíték van. Sem Polignac személyes emlékirataiban, sem a restaurációs udvar emlékirataiban nincs említés ilyen motivációról.
1829. augusztus 8-án X. Károly kinevezte őt a külügyminisztériumba, és a következő év novemberében Polignac lett a tanács elnöke, gyakorlatilag Franciaország leghatalmasabb politikusa. Kinevezését az alkotmány megdöntése felé tett lépésnek tekintették, és Polignacot más miniszterekkel együtt felelősnek tartották a négy rendelet kiadásáról szóló döntésért, amely az 1830. júliusi forradalom közvetlen kiváltó oka volt.
A felkelés kitörésekor elmenekült, és egy ideig Normandia vadonjai között kóborolt, mielőtt Granville-ben letartóztatták. A Bírói Kamara előtti tárgyalásán elítélték és “örökös” börtönbüntetésre ítélték a hami kastélyban. Az 1836-os amnesztia azonban kedvezően érintette, amikor büntetését száműzetésre változtatták. Fogsága alatt megírta a Considerations politiques (1832) című művét. Ezt követően több évet töltött száműzetésben Angliában, mielőtt újra beléphetett Franciaországba, azzal a feltétellel, hogy soha többé nem veszi fel lakhelyét Párizsban.
A University College London Legacies of British Slave-Ownership című kiadványa szerint de Polignac rabszolgakereskedőként az 1833-as Slavery Abolition Act után az 1837-es Slave Compensation Act (rabszolgakompenzációs törvény) révén fizetést kapott. A brit kormány 15 millió font kölcsönt vett fel (2021-ben 1,43 milliárd font értékben) Nathan Mayer Rothschildtól és Moses Montefiore-tól kamatokkal együtt, amelyet később a brit adófizetők fizettek vissza (2015-ben megszűnt). de Polignac három különböző követeléssel volt kapcsolatban, 628 rabszolgát birtokolt Saint Vincent és a Grenadine-szigeteken, és akkoriban 15 765 font kifizetést kapott (2021-ben 1,51 millió font értékben). Bár “külföldi” volt, de Polignac skót felesége, Barbara Campbell (1788-1819), az ardnave-i Duncan Campbell lánya, Barbara Campbell (1788-1819) révén kapcsolatban állt a Brit Birodalommal.
A Maria-Charlotte-tal kötött második házasságából Jules de Polignac-nak hét gyermeke született, köztük Ludovic de Polignac herceg (1827-1904), a francia hadsereg alezredese, aki részt vett Algéria gyarmatosításában; Camille Armand Jules Marie de Polignac herceg (1832-1913), az amerikai polgárháborúban a konföderációs hadsereg vezérőrnagya; és Edmond de Polignac herceg (1834-1901), zeneszerző, zeneelméletíró és a nyolcfokú skála híve.
Jules 1847-ben halt meg St Germainben a bebörtönzés következményei miatt. Körülbelül egy hónappal korábban vette fel a duc de Polignac címet idősebb testvére, Armand halála után, aki gyermek nélkül halt meg.
Comte Pierre de Polignac, a későbbi Pierre herceg, Valentinois hercege (III. Rainier monacói herceg apja és így az egész jelenlegi hercegi család őse) a Polignac család egy másik, csak komitális rangot viselő, kádári ágából származik. Pierre volt a legfiatalabb fia, aki az első Polignac herceg legfiatalabb fiától származott.