Jo Jones přesunul úlohu taktování bicích z basového bubnu na činel hi-hat a výrazně tak ovlivnil všechny swingové a bopové bubeníky. Buddy Rich a Louie Bellson byli jen dva, kteří se učili od jeho lehké, ale důrazné hry, protože Jones swingoval v orchestru Counta Basieho těmi správnými akcenty a zvuky.
Po vyrůstání v Alabamě pracoval Jones jako bubeník a stepař v karnevalových představeních. Koncem dvacátých let se připojil k Blue Devils Waltera Page v Oklahoma City. Po působení v kapele Lloyda Huntera v Nebrasce se Jones v roce 1933 přestěhoval do Kansas City a následujícího roku se připojil ke kapele Counta Basieho.
V roce 1936 odešel s Basiem do New Yorku a s Countem, Freddiem Greenem a Walterem Pagem vytvořil jednu z velkých rytmických sekcí. Jones působil v Basieho kapele (kromě let 1944-46, kdy byl v armádě) až do roku 1948 a v pozdějších letech se účastnil mnoha setkání s Basieho absolventy.
Zúčastnil se několika turné Jazz at the Philharmonic a v padesátých letech nahrával mimo jiné s Illinois Jacquet, Billie Holiday, Teddy Wilsonem, Lesterem Youngem, Artem Tatumem a Dukem Ellingtonem; v roce 1957 Jones vystoupil na Newport Jazz Festivalu s Basiem i s Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones vedl sessions pro Vanguard (1955 a 1959) a Everest (1959-60), data pro Jazz Odyssey, na nichž vzpomínal a hrál sóla na bicí (1970) a v polovině 70. let sessions pro Pablo a Denon. V pozdějších letech byl znám jako „Papa“ Jo Jones a byl považován za moudrého, i když brutálně upřímného staršího státníka.