Jo Jones verplaatste de tijdwaarnemende rol van de drums van de bassdrum naar de hi-hat cimbaal, en beïnvloedde daarmee in hoge mate alle swing- en bopdrummers. Buddy Rich en Louie Bellson waren er slechts twee die van zijn lichte maar krachtige spel leerden, terwijl Jones het Count Basie Orchestra met precies de juiste accenten en geluiden liet swingen.
Nadat Jones in Alabama was opgegroeid, werkte hij als drummer en tapdanser bij kermisshows. Aan het eind van de jaren ’20 trad hij toe tot Walter Page’s Blue Devils in Oklahoma City. Na een periode bij Lloyd Hunter’s band in Nebraska, verhuisde Jones in 1933 naar Kansas City, waar hij het jaar daarop bij Count Basie’s band ging spelen.
Hij ging in 1936 met Basie naar New York en met Count, Freddie Green en Walter Page vormde hij een van de grote ritmesecties. Jones was bij de Basie band (behalve in 1944-46 toen hij in het leger zat) tot 1948 en in latere jaren nam hij deel aan vele reünies met Basie alumni.
Hij nam deel aan enkele Jazz at the Philharmonic tournees en nam in de jaren 1950 op met o.a. Illinois Jacquet, Billie Holiday, Teddy Wilson, Lester Young, Art Tatum en Duke Ellington; Jones verscheen in 1957 op het Newport Jazz Festival met zowel Basie als het Coleman Hawkins-Roy Eldridge Sextet.
Jo Jones leidde sessies voor Vanguard (1955 en 1959) en Everest (1959-60), een date voor Jazz Odyssey waarop hij herinneringen ophaalde en drumsolo’s speelde (1970) en midden jaren ’70 sessies voor Pablo en Denon. Later stond hij bekend als “Papa” Jo Jones en werd hij beschouwd als een wijze, zij het brutaal openhartige oudere staatsman.