Aivan kuten hänen isänsä näki yrityksen tulevaisuuden pikemminkin taulukointikoneissa kuin vaa’assa ja kelloissa, Thomas J. Watson Jr, ennakoi, millainen rooli tietokoneilla tulisi olemaan liiketoiminnassa, ja hän johti IBM:n muuttumista keskikokoisesta taulukkolaskentalaitteiden ja kirjoituskoneiden valmistajasta tietokoneteollisuuden johtavaksi yritykseksi.
Thomas J. Watsonin nuoremman alaisuudessa tehtiin innovaatioita myös markkinoinnissa. Vuonna 1969 IBM muutti tapaa, jolla se myi teknologiaa. Sen sijaan, että se olisi tarjonnut laitteistoja, palveluja ja ohjelmistoja yksinomaan paketteina, markkinoijat ”irrottivat” komponentit ja tarjosivat niitä erikseen myytäväksi. Unbundling synnytti miljardien dollarien ohjelmisto- ja palvelualat, joilla IBM on nykyään maailman johtava toimija.
7. huhtikuuta 1964 IBM esitteli System/360-tietokoneen, joka oli ensimmäinen suuri tietokoneiden ”perhe”, jossa käytettiin keskenään vaihdettavissa olevia ohjelmistoja ja oheislaitteita. Se oli rohkea irtiotto monoliittisesta, yhden koon suurtietokoneesta. Fortune-lehti kutsui sitä ”IBM:n 5 miljardin dollarin uhkapeliksi”.
System/360:ssä oli valittavana viisi prosessoria ja 19 tehon, nopeuden ja muistin yhdistelmää. Käyttäjä saattoi käyttää samoja magneettinauha- ja levytuotteita kuin toinen käyttäjä, jolla oli 100 kertaa tehokkaampi prosessori. System/360 tarjosi myös dramaattisia suorituskykyparannuksia Solid Logic Technologyn ansiosta – puoli tuuman keraamiset moduulit, jotka sisälsivät paljon tiheämpiä, nopeampia ja luotettavampia piirejä kuin aiemmat transistorit.