Jo Jones spostò il ruolo di cronometrista della batteria dalla grancassa al piatto hi-hat, influenzando notevolmente tutti i batteristi swing e bop. Buddy Rich e Louie Bellson furono solo due che impararono dal suo gioco leggero ma vigoroso, come Jones fece oscillare la Count Basie Orchestra con i giusti accenti e suoni.
Dopo essere cresciuto in Alabama, Jones lavorò come batterista e ballerino di tip tap negli spettacoli di carnevale. Si unì ai Blue Devils di Walter Page a Oklahoma City alla fine degli anni ’20. Dopo un periodo con la band di Lloyd Hunter in Nebraska, Jones si trasferì a Kansas City nel 1933, unendosi alla band di Count Basie l’anno successivo.
Andò con Basie a New York nel 1936 e con Count, Freddie Green e Walter Page formò una delle grandi sezioni ritmiche. Jones rimase con la band di Basie (a parte il 1944-46 quando era nell’esercito) fino al 1948 e negli anni successivi partecipò a molte riunioni con gli ex allievi di Basie.
Fece parte di alcuni tour di Jazz at the Philharmonic e registrò negli anni ’50 con Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum e Duke Ellington tra gli altri; Jones apparve al Newport Jazz Festival del 1957 sia con Basie che con il Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones condusse sessioni per Vanguard (1955 e 1959) e Everest (1959-60), una data per Jazz Odyssey in cui ricordò e suonò assoli di batteria (1970) e sessioni di metà anni ’70 per Pablo e Denon. Negli ultimi anni era conosciuto come “Papa” Jo Jones ed era considerato un saggio, anche se brutalmente schietto, anziano statista.
.