Jo Jones mudou o papel de cronometrista dos tambores do baixo para o címbalo de alta qualidade, influenciando grandemente todos os bateristas de swing e bop. Buddy Rich e Louie Bellson eram apenas dois que aprenderam com seu tocar leve, mas vigoroso, enquanto Jones balançava a Orquestra Count Basie com os sotaques e sons certos.
Depois de crescer no Alabama, Jones trabalhou como baterista e dançarino de sapateado com shows de carnaval. Ele se juntou aos Blue Devils de Walter Page, em Oklahoma City, no final dos anos 20. Após um período com a banda de Lloyd Hunter no Nebraska, Jones mudou-se para Kansas City em 1933, juntando-se à banda do Conde Basie no ano seguinte.
Ele foi com Basie para Nova York em 1936 e com Count, Freddie Green e Walter Page ele formou uma das grandes seções rítmicas. Jones esteve com a banda Basie (além de 1944-46 quando estava no exército) até 1948 e em anos posteriores participou de muitas reuniões com ex-alunos do Basie.
Estava em algumas tournées de Jazz na Filarmónica e gravou nos anos 50 com Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum e Duke Ellington entre outros; Jones apareceu no Festival de Jazz de Newport de 1957 com Basie e o Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones liderou sessões para Vanguard (1955 e 1959) e Everest (1959-60), uma data para a Odisseia do Jazz na qual relembrou e tocou solos de bateria (1970) e sessões de meados dos anos 70 para Pablo e Denon. Em anos posteriores ficou conhecido como “Papa” Jo Jones e pensou como um sábio, se bem que brutalmente franco, ancião estadista.