So wie sein Vater die Zukunft des Unternehmens eher in Tabelliergeräten als in Waagen und Uhren sah, so sah Thomas J. Watson, Jr, sah die Rolle voraus, die Computer in der Wirtschaft spielen würden, und er leitete den Wandel von IBM von einem mittelständischen Hersteller von Tabelliergeräten und Schreibmaschinen zu einem führenden Unternehmen der Computerbranche.
Unter Thomas J. Watson, Jr. gab es auch Innovationen im Marketing. Im Jahr 1969 änderte IBM die Art und Weise, wie es Technologie verkaufte. Anstatt Hardware, Dienstleistungen und Software ausschließlich in Paketen anzubieten, „entbündelten“ die Vermarkter die Komponenten und boten sie einzeln zum Verkauf an. Die Entflechtung war die Geburtsstunde der milliardenschweren Software- und Dienstleistungsindustrie, in der IBM heute weltweit führend ist.
Am 7. April 1964 stellte IBM das System/360 vor, die erste große „Familie“ von Computern mit austauschbarer Software und Peripheriegeräten. Es war eine kühne Abkehr von den monolithischen Großrechnern, die nur eine Größe besaßen. Die Zeitschrift Fortune bezeichnete es als „IBMs 5-Milliarden-Dollar-Spiel“.
System/360 bot eine Auswahl von fünf Prozessoren und 19 Kombinationen von Leistung, Geschwindigkeit und Speicher. Ein Benutzer konnte die gleichen Magnetband- und Plattenprodukte verwenden wie ein anderer Benutzer mit einem 100-mal leistungsfähigeren Prozessor. System/360 bot auch dramatische Leistungssteigerungen dank der Solid Logic Technology – Halbzoll-Keramikmodule mit Schaltkreisen, die viel dichter, schneller und zuverlässiger waren als frühere Transistoren.