Retournant en France, alors dirigée par Napoléon Bonaparte, Jules poursuit sa loyauté zélée envers la famille royale en exil. En 1804, un an après la mort de sa sœur, Jules est impliqué dans la conspiration de Cadoudal et Pichegru pour assassiner Bonaparte, et est emprisonné jusqu’en 1813. Après la restauration des Bourbons, il est récompensé par divers honneurs et postes. Il occupe diverses fonctions, reçoit du pape son titre de « Prince » en 1820, et en 1823, le roi Louis XVIII le fait ambassadeur en Grande-Bretagne. Un an plus tard, l’ancien ami de sa mère monte sur le trône sous le nom de roi Charles X. Les sympathies politiques de Polignac ne changent pas, et il est l’un des ultra-royalistes les plus en vue à l’époque de la Restauration.
À l’époque, la rumeur veut que Polignac ait soutenu les politiques ultra-royalistes parce qu’il pensait recevoir l’inspiration de la Vierge Marie. Il existe cependant peu de preuves historiques de cette histoire. Il n’y a aucune mention d’une telle motivation dans les mémoires personnels de Polignac ou dans les mémoires de la cour de la Restauration.
Le 8 août 1829, Charles X le nomme au ministère des affaires étrangères et en novembre suivant, Polignac devient président du conseil, effectivement l’homme politique le plus puissant de France. Sa nomination est considérée comme un pas vers le renversement de la constitution et Polignac, avec d’autres ministres, est tenu responsable de la décision de publier les Quatre Ordonnances, qui sont la cause immédiate de la révolution de juillet 1830.
Au moment où la révolte éclate, il s’enfuit, errant quelque temps dans les régions sauvages de Normandie avant d’être arrêté à Granville. Lors de son procès devant la Chambre des pairs, il est condamné à l’emprisonnement « perpétuel » au château de Ham. Mais il bénéficie de l’amnistie de 1836, où sa peine est commuée en exil. Pendant sa captivité, il rédige des Considérations politiques (1832). Ensuite, il passe plusieurs années en exil en Angleterre avant d’être autorisé à rentrer en France, à condition de ne plus jamais élire domicile à Paris.
Selon le Legacies of British Slave-Ownership de l’University College London, de Polignac a reçu un paiement en tant que marchand d’esclaves dans la foulée du Slavery Abolition Act 1833 avec le Slave Compensation Act 1837. Le gouvernement britannique a contracté un prêt de 15 millions de livres sterling (d’une valeur de 1,43 milliard de livres sterling en 2021) avec intérêts auprès de Nathan Mayer Rothschild et Moses Montefiore, qui a ensuite été remboursé par les contribuables britanniques (fin en 2015). de Polignac a été associé à trois demandes différentes, il possédait 628 esclaves à Saint-Vincent-et-les-Grenadines et a reçu un paiement de 15 765 livres sterling à l’époque (d’une valeur de 1,51 million de livres sterling en 2021). Bien qu’étant un « étranger », de Polignac avait des relations dans l’Empire britannique grâce à son épouse écossaise, Barbara Campbell (1788-1819), fille de Duncan Campbell of Ardnave.
De son second mariage avec Maria-Charlotte, Jules de Polignac avait engendré sept enfants, dont le prince Ludovic de Polignac (1827-1904), lieutenant-colonel de l’armée française qui participa à la colonisation de l’Algérie ; Le prince Camille Armand Jules Marie de Polignac (1832-1913), major-général de l’armée confédérée pendant la guerre de Sécession ; et le prince Edmond de Polignac (1834-1901), compositeur, théoricien de la musique et promoteur de la gamme octatonique.
Jules est mort à Saint-Germain en 1847 des effets de son emprisonnement. Environ un mois auparavant, il avait pris le titre de duc de Polignac à la mort de son frère aîné, Armand, décédé sans enfant.
Le comte Pierre de Polignac, plus tard prince Pierre, duc de Valentinois (père de Rainier III de Monaco et donc ancêtre de toute la famille princière actuelle) est issu d’une branche différente et cadette de la famille Polignac, qui ne possède que le rang comital. Pierre était le plus jeune fils, descendant du plus jeune fils du premier duc de Polignac.