Jo Jones siirsi rumpujen ajanottoroolin bassorummulta hi-hat-symbaalille, mikä vaikutti suuresti kaikkiin swing- ja bop-rumpaleihin. Buddy Rich ja Louie Bellson olivat vain kaksi, jotka ottivat oppia hänen kevyestä mutta voimakkaasta soitostaan, sillä Jones svengasi Count Basie -orkesteria juuri oikeilla aksenteilla ja äänillä.
Vartuttuaan Alabamassa Jones työskenteli rumpalina ja stepparina karnevaaliesityksissä. Hän liittyi Walter Pagen Blue Devils -yhtyeeseen Oklahoma Cityssä 20-luvun lopulla. Jakson Nebraskassa Lloyd Hunterin yhtyeessä jälkeen Jones muutti Kansas Cityyn vuonna 1933 ja liittyi Count Basien yhtyeeseen seuraavana vuonna.
Hän lähti Basien mukana New Yorkiin vuonna 1936 ja muodosti Countin, Freddie Greenin ja Walter Pagen kanssa yhden suurista rytmisektioista. Jones oli Basien bändissä (lukuun ottamatta vuosia 1944-46, jolloin hän oli armeijassa) vuoteen 1948 asti ja myöhempinä vuosina hän osallistui moniin Basien entisten soittajien tapaamisiin.
Hän oli mukana joillakin Jazz at the Philharmonic -kiertueilla ja levytti 1950-luvulla muun muassa Illinois Jacquet’n, Billie Holidayn, Teddy Wilsonin, Lester Youngin, Art Tatumin ja Duke Ellingtonin kanssa; Jones esiintyi Newportin jazzfestivaaleilla 1957 sekä Basien että Coleman Hawkins-Roy Eldridge Sextetin kanssa.
Jo Jones johti sessioita Vanguardille (1955 ja 1959) ja Everestille (1959-60), treffit Jazz Odysseylle, jolla hän muisteli ja soitti rumpusooloja (1970) sekä 70-luvun puolivälin sessiot Pablolle ja Denonille. Myöhempinä vuosinaan hänet tunnettiin nimellä ”Papa” Jo Jones ja häntä pidettiin viisaana, joskin raa’an suorapuheisena vanhanaikaisena valtiomiehenä.