Jo Jones verlagerte die taktgebende Rolle des Schlagzeugs von der großen Trommel auf das Hi-Hat-Becken und beeinflusste damit alle Swing- und Bop-Schlagzeuger maßgeblich. Buddy Rich und Louie Bellson waren nur zwei, die von seinem leichten, aber kraftvollen Spiel lernten, während Jones das Count Basie Orchestra mit genau den richtigen Akzenten und Klängen zum Swingen brachte.
Nachdem er in Alabama aufgewachsen war, arbeitete Jones als Schlagzeuger und Stepptänzer bei Karnevalsveranstaltungen. In den späten 20er Jahren schloss er sich den Blue Devils von Walter Page in Oklahoma City an. Nach einer Zeit in der Band von Lloyd Hunter in Nebraska zog Jones 1933 nach Kansas City und trat im folgenden Jahr der Band von Count Basie bei.
1936 ging er mit Basie nach New York und bildete mit Count, Freddie Green und Walter Page eine der großen Rhythmusgruppen. Jones gehörte der Basie-Band (außer 1944-46, als er beim Militär war) bis 1948 an und nahm in späteren Jahren an vielen Wiedersehenstreffen mit Basie-Alumni teil.
Er nahm an einigen „Jazz at the Philharmonic“-Tourneen teil und machte in den 1950er Jahren Aufnahmen u.a. mit Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum und Duke Ellington; Jones trat beim Newport Jazz Festival 1957 sowohl mit Basie als auch mit dem Coleman Hawkins-Roy Eldridge Sextett auf.
Jo Jones leitete Sessions für Vanguard (1955 und 1959) und Everest (1959-60), eine Aufnahme für Jazz Odyssey, auf der er in Erinnerungen schwelgte und Schlagzeugsoli spielte (1970), sowie Mitte der 70er Jahre Sessions für Pablo und Denon. In späteren Jahren war er als „Papa“ Jo Jones bekannt und galt als weiser, wenn auch brutal offener elder statesman.