Jo Jones áthelyezte a dobok időmérő szerepét a nagydobról a hi-hat cintányérra, nagy hatással volt minden swing és bop dobosra. Buddy Rich és Louie Bellson csak ketten voltak, akik az ő könnyed, de erőteljes játékából tanultak, ahogy Jones a Count Basie Orchestrát is a megfelelő hangsúlyokkal és hangokkal swingelte.
Az Alabamában felnövő Jones dobosként és sztepptáncosként dolgozott karneváli műsoroknál. A 20-as évek végén csatlakozott Walter Page Blue Devils nevű együtteséhez Oklahoma Cityben. Lloyd Hunter nebraskai zenekarában töltött időszak után Jones 1933-ban Kansas Citybe költözött, és a következő évben csatlakozott Count Basie együtteséhez.
1936-ban Basie-vel együtt New Yorkba ment, és Count, Freddie Green és Walter Page társaságában a nagy ritmusszekciók egyikét alkotta. Jones 1948-ig volt a Basie zenekarban (kivéve 1944-46-ban, amikor a hadseregben szolgált), és a későbbi években számos találkozón vett részt a Basie öregdiákokkal.
Részt vett néhány Jazz at the Philharmonic turnén, és az 1950-es években többek között Illinois Jacquet-vel, Billie Holiday-vel, Teddy Wilsonnal, Lester Younggal, Art Tatummal és Duke Ellingtonnal készített felvételeket; Jones az 1957-es Newport Jazz Festivalon Basie-vel és a Coleman Hawkins-Roy Eldridge Sextettel is fellépett.
Jo Jones vezetett sessionöket a Vanguardnak (1955 és 1959) és az Everestnek (1959-60), egy randevút a Jazz Odyssey-nek, amelyen visszaemlékezett és dobszólókat játszott (1970), valamint a 70-es évek közepén sessionöket a Pablo és a Denon számára. Későbbi éveiben “Papa” Jo Jones néven ismerték, és bölcs, bár brutálisan őszinte idősebb államférfiként tartották számon.