Jo Jones a fait passer le rôle de chronomètre de la batterie de la grosse caisse à la cymbale charleston, influençant grandement tous les batteurs de swing et de bop. Buddy Rich et Louie Bellson ne sont que deux exemples de ceux qui ont appris de son jeu léger mais énergique, tandis que Jones a fait swinguer le Count Basie Orchestra avec les accents et les sons appropriés.
Après avoir grandi en Alabama, Jones a travaillé comme batteur et danseur de claquettes avec des spectacles de carnaval. Il a rejoint les Blue Devils de Walter Page à Oklahoma City à la fin des années 20. Après une période avec le groupe de Lloyd Hunter au Nebraska, Jones s’installe à Kansas City en 1933, rejoignant le groupe de Count Basie l’année suivante.
Il part avec Basie à New York en 1936 et avec Count, Freddie Green et Walter Page, il forme l’une des grandes sections rythmiques. Jones est resté avec le groupe de Basie (autre que 1944-46 où il était dans l’armée) jusqu’en 1948 et dans les années suivantes, il a participé à de nombreuses réunions avec les anciens de Basie.
Il a participé à certaines tournées de Jazz at the Philharmonic et a enregistré dans les années 1950 avec Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum et Duke Ellington, entre autres ; Jones s’est produit au festival de jazz de Newport en 1957 avec à la fois Basie et le Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones a dirigé des sessions pour Vanguard (1955 et 1959) et Everest (1959-60), une date pour Jazz Odyssey sur laquelle il s’est remémoré et a joué des solos de batterie (1970) et des sessions du milieu des années 70 pour Pablo et Denon. Plus tard, il était connu sous le nom de « Papa » Jo Jones et considéré comme un aîné sage, quoique brutalement franc.