Jo Jones flyttade trummornas tidtagning från bastrumman till hi-hat-bäckenet, vilket i hög grad påverkade alla swing- och bop-trummisar. Buddy Rich och Louie Bellson var bara två som lärde sig av hans lätta men kraftfulla spel, eftersom Jones svängde Count Basie Orchestra med precis de rätta accenterna och ljuden.
Efter att ha vuxit upp i Alabama arbetade Jones som trummis och steppdansare med karnevalsshower. Han anslöt sig till Walter Page’s Blue Devils i Oklahoma City i slutet av 20-talet. Efter en period med Lloyd Hunters band i Nebraska flyttade Jones till Kansas City 1933 och gick med i Count Basies band året därpå.
Han följde med Basie till New York 1936 och med Count, Freddie Green och Walter Page bildade han en av de stora rytmsektionerna. Jones var med i Basie-orkestern (förutom 1944-46 då han var i militären) fram till 1948 och på senare år deltog han i många återföreningar med Basie-alumner.
Han var med på några Jazz at the Philharmonic-turnéer och spelade på 1950-talet in med bl.a. Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum och Duke Ellington. 1957 uppträdde Jones på Newport Jazz Festival med både Basie och Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones ledde sessioner för Vanguard (1955 och 1959) och Everest (1959-60), ett datum för Jazz Odyssey där han mindes och spelade trumsolon (1970) och sessioner i mitten av 70-talet för Pablo och Denon. På senare år var han känd som ”Papa” Jo Jones och betraktades som en klok om än brutalt uppriktig äldre statsman.