Volta à França, que era então governada por Napoleão Bonaparte, Jules continuou na sua lealdade zelosa para com a Família Real exilada. Em 1804, um ano após a morte de sua irmã, Jules foi implicado na conspiração de Cadoudal e Pichegru para assassinar Bonaparte, e foi preso até 1813. Após a restauração dos Bourbons, ele foi recompensado com várias honras e posições. Ocupou vários cargos, recebeu do Papa o título de “Príncipe”, em 1820, e em 1823, o Rei Luís XVIII nomeou-o embaixador na Grã-Bretanha. Um ano depois, o antigo amigo de sua mãe ascendeu ao trono como Rei Carlos X. As simpatias políticas de Polignac não mudaram, e ele foi um dos mais notáveis ultra-royalistas durante a era da Restauração.
Naquela época, havia rumores de que Polignac apoiava políticas ultra-royalistas porque pensava estar recebendo inspiração da Virgem Maria. Há pouca evidência histórica para esta história, no entanto. Não há menção de tal motivação nas memórias pessoais de Polignac ou nas memórias do tribunal da Restauração.
Em 8 de Agosto de 1829, Carlos X nomeou-o para o ministério dos negócios estrangeiros e, em Novembro seguinte, Polignac tornou-se presidente do conselho, efectivamente o político mais poderoso da França. Sua nomeação foi considerada um passo para derrubar a constituição e Polignac, juntamente com outros ministros, foi considerado responsável pela decisão de emitir as Quatro Ordenanças, que foram a causa imediata da revolução de julho de 1830.
Acima do surto de revolta, ele fugiu, vagueando por algum tempo entre os selvagens da Normandia, antes de ser preso em Granville. No seu julgamento perante a Câmara dos Pares, foi condenado e condenado à prisão ‘perpétua’ no castelo de Ham. Mas ele beneficiou da amnistia de 1836, quando a sua sentença foi comutada para o exílio. Durante o seu cativeiro, ele escreveu Considerations politiques (1832). Depois, ele passou vários anos no exílio na Inglaterra antes de ser autorizado a reentrar na França, na condição de nunca mais retomar a sua residência em Paris.
De acordo com o Legado da Propriedade Escrava Britânica no University College London, de Polignac recebeu um pagamento como comerciante de escravos na sequência da Lei de Abolição da Escravatura de 1833 com a Lei de Indemnização de Escravos de 1837. O governo britânico contraiu um empréstimo de £15 milhões (no valor de £1,43 bilhões em 2021) com juros de Nathan Mayer Rothschild e Moses Montefiore, que foi posteriormente pago pelos contribuintes britânicos (terminando em 2015). de Polignac foi associado a três reivindicações diferentes, ele possuía 628 escravos em São Vicente e Granadinas e recebeu um pagamento de £15.765 na época (no valor de £1,51 milhões em 2021). Embora “estrangeiro”, de Polignac tinha ligações no Império Britânico devido à sua esposa escocesa, Barbara Campbell (1788-1819), filha de Duncan Campbell de Ardnave.
Desde o seu segundo casamento com Maria-Charlotte, Jules de Polignac teve sete filhos, incluindo o Príncipe Ludovic de Polignac (1827-1904), tenente-coronel do Exército Francês que participou na colonização da Argélia; O príncipe Camille Armand Jules Marie de Polignac (1832-1913), major-general do Exército Confederado durante a Guerra Civil americana; e o príncipe Edmond de Polignac (1834-1901), compositor, teórico musical e defensor da escala octatónica.
Jules morreu em St. Germain em 1847, devido aos efeitos da sua prisão. Cerca de um mês antes, ele havia assumido o título de duc de Polignac com a morte de seu irmão mais velho, Armand, que havia morrido sem filhos.
Comte Pierre de Polignac, mais tarde Príncipe Pierre, Duque de Valentinois (pai de Rainier III de Mônaco e, portanto, um antepassado de toda a família principesca atual) é descendente de um ramo diferente e cadete da família Polignac, que tem apenas a patente comital. Pierre era o filho mais novo, descendente do filho mais novo do primeiro Duque de Polignac.