ジョーはドラムのタイムキーパーをバスドラムからハイハットシンバルに移行し、すべてのスイングとバップのドラマーに大きな影響を与えた。 バディ・リッチやルイ・ベルソンも、彼の軽快かつ力強い演奏から学んだ一人で、ジョーンズはカウント・ベイシー・オーケストラを適切なアクセントとサウンドでスウィングさせました。 20年代後半には、オクラホマ・シティのウォルター・ペイジのブルー・デビルズに参加した。 ネブラスカでロイド・ハンターのバンドに在籍した後、1933年にカンザス・シティに移り、翌年カウント・ベイシーのバンドに参加した。
彼は1936年にベイシーと共にニューヨークに行き、カウント、フレディ・グリーン、ウォルター・ペイジと共に偉大なリズム・セクションの一つを形成した。 ジョーンズは1948年までベイシー楽団に在籍し（軍にいた1944-46年を除く）、後年はベイシーOBとの多くの同窓会に参加した。
彼はジャズ・アット・ザ・フィルハーモニック・ツアーに参加し、1950年代にはイリノイ・ジャケ、ビリー・ホリデイ、テディ・ウィルソン、レスター・ヤング、アート・テイタム、デューク・エリントンらと録音した。1957年ニューポート・ジャズ・フェスティバルに、ベイシーとコールマン・ホーキンス／ロイ・エルドリッジ・セクステットと出演したのもジョーンズである。
ジョー・ジョーンズは、ヴァンガード（1955年と1959年）とエベレスト（1959-60年）のセッション、回想とドラムソロを演奏したジャズ・オデッセイの日（1970年）、パブロとデノンの70年代中頃のセッションを主導しました。 後年、彼は「パパ」ジョー・ジョーンズと呼ばれ、残酷なほど率直ではあるが賢明な長老と考えられていた。