Tak jak jego ojciec widział przyszłość firmy w tabulatorach, a nie w wagach i zegarach, tak Thomas J. Watson, Jr, przewidział rolę, jaką komputery odegrają w biznesie, i doprowadził do przekształcenia IBM ze średniej wielkości producenta tabulatorów i maszyn do pisania w lidera branży komputerowej.
Pod kierownictwem Thomasa J. Watsona, Jr. pojawiły się również innowacje w marketingu. W 1969 roku IBM zmienił sposób sprzedaży technologii. Zamiast oferować sprzęt, usługi i oprogramowanie wyłącznie w pakietach, marketingowcy „uwolnili” komponenty i zaoferowali je do sprzedaży indywidualnie. Rozdzielenie dało początek wartemu wiele miliardów dolarów przemysłowi oprogramowania i usług, którego IBM jest dziś światowym liderem.
7 kwietnia 1964 r. IBM wprowadził System/360, pierwszą dużą „rodzinę” komputerów, w której zastosowano wymienne oprogramowanie i urządzenia peryferyjne. Było to śmiałe odejście od monolitycznych, uniwersalnych komputerów mainframe. Magazyn Fortune określił go mianem „gry IBM o wartości 5 miliardów dolarów.”
System/360 oferował do wyboru pięć procesorów i 19 kombinacji mocy, szybkości i pamięci. Użytkownik mógł obsługiwać te same produkty z taśm magnetycznych i dysków, co inny użytkownik z procesorem 100 razy potężniejszym. System/360 oferował również radykalny wzrost wydajności, dzięki Solid Logic Technology – półcalowym modułom ceramicznym zawierającym układy znacznie gęstsze, szybsze i bardziej niezawodne niż wcześniejsze tranzystory.