Jo Jones flyttede trommernes tidstagning fra stortrommen til hi-hat-bækkenet, hvilket fik stor indflydelse på alle swing- og bop-trommeslagere. Buddy Rich og Louie Bellson var blot to af dem, der lærte af hans lette, men kraftfulde spil, ligesom Jones svingede Count Basie Orchestra med de helt rigtige accenter og lyde.
Efter sin opvækst i Alabama arbejdede Jones som trommeslager og stepdanser i karnevalsshows. Han sluttede sig til Walter Page’s Blue Devils i Oklahoma City i slutningen af 20’erne. Efter en periode med Lloyd Hunter’s band i Nebraska flyttede Jones til Kansas City i 1933 og kom med i Count Basie’s band det følgende år.
Han tog med Basie til New York i 1936, og sammen med Count, Freddie Green og Walter Page dannede han en af de store rytmegrupper. Jones var med Basie-orkestret (bortset fra 1944-46, hvor han var i militæret) indtil 1948, og i de senere år deltog han i mange genforeninger med Basie-alumnerne.
Han var med på nogle Jazz at the Philharmonic-turnéer og indspillede i 1950’erne med bl.a. Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum og Duke Ellington; Jones optrådte på Newport Jazz Festival i 1957 med både Basie og Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones ledede sessioner for Vanguard (1955 og 1959) og Everest (1959-60), en date for Jazz Odyssey, hvor han mindedes og spillede trommesoloer (1970), og midt i 70’erne sessioner for Pablo og Denon. I de senere år var han kendt som “Papa” Jo Jones og blev betragtet som en klog om end brutalt ærlig ældre statsmand.