Jo Jones a mutat rolul de cronometru al tobelor de la toba mică la țambalul hi-hat, influențând foarte mult toți toboșarii de swing și bop. Buddy Rich și Louie Bellson au fost doar doi dintre cei care au învățat din jocul său ușor, dar energic, în timp ce Jones a legănat Count Basie Orchestra cu accentele și sunetele potrivite.
După ce a crescut în Alabama, Jones a lucrat ca toboșar și dansator de step la spectacolele de carnaval. S-a alăturat trupei Blue Devils a lui Walter Page din Oklahoma City la sfârșitul anilor ’20. După o perioadă cu trupa lui Lloyd Hunter în Nebraska, Jones s-a mutat în Kansas City în 1933, alăturându-se trupei lui Count Basie în anul următor.
A plecat cu Basie la New York în 1936 și împreună cu Count, Freddie Green și Walter Page a format una dintre cele mai mari secțiuni ritmice. Jones a făcut parte din formația Basie (cu excepția anilor 1944-46, când a fost în armată) până în 1948, iar în anii următori a participat la multe reuniuni cu foștii colegi ai lui Basie.
A participat la câteva turnee Jazz at the Philharmonic și a înregistrat în anii 1950 cu Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum și Duke Ellington, printre alții; Jones a apărut la Festivalul de Jazz de la Newport din 1957 atât cu Basie, cât și cu Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones a condus sesiuni pentru Vanguard (1955 și 1959) și Everest (1959-60), o dată pentru Jazz Odyssey la care a rememorat și a cântat solo-uri de tobe (1970) și sesiuni la mijlocul anilor ’70 pentru Pablo și Denon. În ultimii ani a fost cunoscut sub numele de „Papa” Jo Jones și a fost considerat un bătrân înțelept, deși brutal de sincer.