Ritornato in Francia, allora governata da Napoleone Bonaparte, Jules continuò nella sua zelante fedeltà alla famiglia reale in esilio. Nel 1804, un anno dopo la morte della sorella, Jules fu implicato nella cospirazione di Cadoudal e Pichegru per assassinare Bonaparte, e fu imprigionato fino al 1813. Dopo la restaurazione dei Borboni, fu ricompensato con vari onori e posizioni. Ricoprì vari uffici, ricevette dal papa il titolo di “Principe” nel 1820, e nel 1823, il re Luigi XVIII lo fece ambasciatore in Gran Bretagna. Un anno dopo, l’ex amico di sua madre salì al trono come re Carlo X. Le simpatie politiche di Polignac non cambiarono, e fu uno dei più cospicui ultra-rialisti durante l’epoca della Restaurazione.
All’epoca, si diceva che Polignac sostenesse le politiche ultra-rialiste perché pensava di ricevere ispirazione dalla Vergine Maria. Ci sono poche prove storiche per questa storia, tuttavia. Non c’è menzione di tale motivazione nelle memorie personali di Polignac o nelle memorie della corte della Restaurazione.
L’8 agosto 1829, Carlo X lo nominò al ministero degli affari esteri e nel novembre successivo, Polignac divenne presidente del consiglio, effettivamente il politico più potente di Francia. La sua nomina fu considerata un passo verso il rovesciamento della costituzione e Polignac, con altri ministri, fu ritenuto responsabile della decisione di emanare le Quattro Ordinanze, che furono la causa immediata della rivoluzione del luglio 1830.
Al momento dello scoppio della rivolta, fuggì, vagando per qualche tempo nelle terre selvagge della Normandia prima di essere arrestato a Granville. Al suo processo davanti alla Camera dei Pari, fu condannato e condannato alla reclusione “perpetua” nel castello di Ham. Ma beneficiò dell’amnistia del 1836, quando la sua condanna fu commutata in esilio. Durante la sua prigionia, scrisse Considerations politiques (1832). In seguito, passò diversi anni in esilio in Inghilterra prima di essere autorizzato a rientrare in Francia, a condizione che non prendesse mai più la sua dimora a Parigi.
Secondo il Legacies of British Slave-Ownership dell’University College di Londra, de Polignac ricevette un pagamento come schiavista all’indomani dello Slavery Abolition Act 1833 con lo Slave Compensation Act 1837. Il governo britannico ha preso un prestito di 15 milioni di sterline (valore di 1,43 miliardi di sterline nel 2021) con interessi da Nathan Mayer Rothschild e Moses Montefiore che è stato successivamente pagato dai contribuenti britannici (terminato nel 2015). de Polignac è stato associato a tre diverse richieste, possedeva 628 schiavi a Saint Vincent e Grenadine e ha ricevuto un pagamento di 15.765 sterline all’epoca (valore di 1,51 milioni di sterline nel 2021). Anche se uno “straniero”, de Polignac aveva connessioni nell’Impero britannico grazie alla sua moglie scozzese, Barbara Campbell (1788-1819), figlia di Duncan Campbell di Ardnave.
Dal suo secondo matrimonio con Maria-Charlotte, Jules de Polignac ebbe sette figli, tra cui il principe Ludovic de Polignac (1827-1904), un tenente colonnello dell’esercito francese che partecipò alla colonizzazione dell’Algeria; Il principe Camille Armand Jules Marie de Polignac (1832-1913), un maggiore generale dell’esercito confederato durante la guerra civile americana; e il principe Edmond de Polignac (1834-1901), un compositore, teorico musicale e sostenitore della scala ottatonica.
Jules morì a St. Germain nel 1847 per gli effetti della sua prigionia. Circa un mese prima, aveva assunto il titolo di duc de Polignac alla morte di suo fratello maggiore, Armand, che era morto senza figli.
Il conte Pierre de Polignac, poi principe Pierre, duca di Valentinois (padre di Ranieri III di Monaco e quindi un antenato di tutta l’attuale famiglia principesca) discende da un ramo diverso e cadetto della famiglia Polignac, che ha solo il grado comitale. Pierre era il figlio più giovane, discendente dal figlio più giovane del primo duca di Polignac.