De regreso a Francia, gobernada entonces por Napoleón Bonaparte, Jules continuó con su celosa lealtad a la familia real exiliada. En 1804, un año después de la muerte de su hermana, Jules fue implicado en la conspiración de Cadoudal y Pichegru para asesinar a Bonaparte, y fue encarcelado hasta 1813. Tras la restauración de los Borbones, fue recompensado con diversos honores y cargos. Ocupó varios cargos, recibió del Papa el título de «Príncipe» en 1820 y, en 1823, el rey Luis XVIII le nombró embajador en Gran Bretaña. Un año más tarde, el antiguo amigo de su madre subió al trono como rey Carlos X. Las simpatías políticas de Polignac no cambiaron, y fue uno de los ultrarrealistas más conspicuos durante la época de la Restauración.
En su momento, se rumoreó que Polignac apoyaba la política ultrarrealista porque creía recibir inspiración de la Virgen María. Sin embargo, hay pocas pruebas históricas de esta historia. No se menciona tal motivación en las memorias personales de Polignac ni en las memorias de la corte de la Restauración.
El 8 de agosto de 1829, Carlos X le nombró ministro de Asuntos Exteriores y, en noviembre siguiente, Polignac se convirtió en presidente del Consejo, siendo el político más poderoso de Francia. Su nombramiento fue considerado como un paso hacia el derrocamiento de la Constitución y Polignac, junto con otros ministros, fue considerado responsable de la decisión de promulgar las Cuatro Ordenanzas, que fueron la causa inmediata de la revolución de julio de 1830.
Al estallar la revuelta, huyó, vagando durante algún tiempo entre los bosques de Normandía antes de ser detenido en Granville. En su juicio ante la Cámara de los Pares, fue condenado a prisión «perpetua» en el castillo de Ham. Pero se benefició de la amnistía de 1836, cuando se le conmutó la pena por el exilio. Durante su cautiverio, escribió Considerations politiques (1832). Posteriormente, pasó varios años exiliado en Inglaterra antes de que se le permitiera volver a entrar en Francia, con la condición de no volver a residir en París.
Según el Legado de la propiedad británica de esclavos del University College de Londres, de Polignac recibió un pago como comerciante de esclavos tras la Ley de Abolición de la Esclavitud de 1833 con la Ley de Compensación de Esclavos de 1837. El Gobierno británico pidió un préstamo de 15 millones de libras (con un valor de 1,43 millones de libras en 2021) con intereses a Nathan Mayer Rothschild y Moses Montefiore, que posteriormente fue pagado por los contribuyentes británicos (finalizando en 2015). De Polignac estaba asociado a tres reclamaciones diferentes, era propietario de 628 esclavos en San Vicente y las Granadinas y recibió un pago de 15.765 libras en ese momento (con un valor de 1,51 millones de libras en 2021). Aunque era «extranjero», de Polignac tenía conexiones en el Imperio Británico debido a su esposa escocesa, Barbara Campbell (1788-1819), hija de Duncan Campbell de Ardnave.
De su segundo matrimonio con Maria-Charlotte, Jules de Polignac tuvo siete hijos, entre ellos el príncipe Ludovic de Polignac (1827-1904), teniente coronel del ejército francés que participó en la colonización de Argelia; el príncipe Camille Armand Jules Marie de Polignac (1832-1913), general de división del ejército confederado durante la Guerra de Secesión estadounidense; y el príncipe Edmond de Polignac (1834-1901), compositor, teórico musical y defensor de la escala octatónica.
Jules murió en St. Germain en 1847 por los efectos de su encarcelamiento. Aproximadamente un mes antes, había asumido el título de duque de Polignac a la muerte de su hermano mayor, Armand, que había fallecido sin hijos.
El conde Pierre de Polignac, más tarde príncipe Pierre, duque de Valentinois (padre de Rainiero III de Mónaco y, por tanto, antepasado de toda la familia principesca actual) desciende de una rama diferente y cadete de la familia Polignac, que sólo tiene el rango comital. Pierre era el hijo menor, descendiente del hijo menor del primer duque de Polignac.