Jo Jones cambió el papel de la batería en el control del tiempo, pasando del bombo al platillo del hi-hat, influyendo enormemente en todos los bateristas de swing y bop. Buddy Rich y Louie Bellson fueron sólo dos de los que aprendieron de su forma de tocar, ligera pero contundente, ya que Jones hizo girar a la Count Basie Orchestra con los acentos y sonidos adecuados.
Después de crecer en Alabama, Jones trabajó como baterista y bailarín de claqué en espectáculos de carnaval. Se unió a los Blue Devils de Walter Page en Oklahoma City a finales de los años 20. Tras un periodo con la banda de Lloyd Hunter en Nebraska, Jones se trasladó a Kansas City en 1933, uniéndose a la banda de Count Basie al año siguiente.
Se fue con Basie a Nueva York en 1936 y con Count, Freddie Green y Walter Page formó una de las grandes secciones rítmicas. Jones estuvo con la banda de Basie (aparte de 1944-46 cuando estuvo en el ejército) hasta 1948 y en años posteriores participó en muchas reuniones con ex alumnos de Basie.
Estuvo en algunas giras de Jazz at the Philharmonic y grabó en la década de 1950 con Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum y Duke Ellington, entre otros; Jones apareció en el Festival de Jazz de Newport de 1957 tanto con Basie como con el sexteto de Coleman Hawkins y Roy Eldridge.
Jo Jones dirigió sesiones para Vanguard (1955 y 1959) y Everest (1959-60), una cita para Jazz Odyssey en la que recordó y tocó solos de batería (1970) y sesiones de mediados de los 70 para Pablo y Denon. En los últimos años se le conocía como «Papa» Jo Jones y se le consideraba un anciano sabio aunque brutalmente franco.