In 1881 bracht de Pennsylvania Railroad passagiersdiensten naar het centrum van de stad, en bouwde het eerste Broad Street Station net ten westen van het stadhuis. De zee van ijzeren pijlers die het verhoogde spoor van de PRR overeind hield, werd in de jaren 1890 vervangen door een stenen viaduct van 10 blokken naar de Schuylkill River. Hierdoor ontstond een blok brede barrière, bekend als de Chinese Muur, die het westelijke deel van de stad in tweeën sneed en de ontwikkeling ervan ontmoedigde.
In die tijd vond de meeste commerciële activiteit in Center City plaats ten oosten van Broad Street, wat de reden is waarom de SEPTA Market-Frankford Line geen haltes heeft tussen 30th Street Station en 15th Street. (De stations aan 19th Street en 22nd Street worden bediend door SEPTA Subway-Surface Trolley Lines.)
In 1925 kondigde de Pennsylvania Railroad haar voornemen aan om Broad Street Station te verlaten, waardoor het land vrijkwam voor herontwikkeling. De spoorlijn, die het station was ontgroeid en operationeel zwaar belast werd door het stomp-eind karakter, zou haar activiteiten verplaatsen naar het nieuw gebouwde 30th Street Station en Suburban Station. Deze stations waren voltooid en in gebruik genomen in 1933, maar een aantal factoren, waaronder de Grote Depressie die de geplande herontwikkeling tegenhield, dwong de spoorweg om Broad Street Station te blijven gebruiken voor bepaalde soorten treinen (zoals de Philadelphia-New York “Clockers”, en stoomtreinen van de Pennsylvania-Reading Seashore Lines) gedurende nog eens bijna twee decennia. Broad Street Station werd pas in 1952, tijdens de ambtstermijn van burgemeester Joseph S. Clark, volledig ontruimd. Plannen voor de sloop van de Chinese Muur en het bijbehorende treinstation werden afgerond en beide werden in 1953 gesloopt.
Ed Bacon, uitvoerend directeur van de Philadelphia City Planning Commission, kwam met een masterplan voor een gebied van vier blokken dat zou worden ontruimd. Bacon noemde het nieuwe gebied Penn Center in de hoop dat het een zakencentrum en model voor toekomstige ontwikkeling zou worden. Zijn plan voor de herontwikkeling van het gebied omvatte drie grote kantoortorens, een winkelcentrum voor voetgangers en een ondergrondse hal waar winkels en bedrijven gevestigd zouden worden. Hij koos architect Vincent Kling om de meeste gebouwen te ontwerpen, in plaats van Louis Kahn, een andere mogelijke mededinger. De Pennsylvania Railroad wilde het land verkopen in kleinere kavels voor versnipperde ontwikkeling, maar burgemeester Clark gebruikte zijn politieke invloed om ervoor te zorgen dat het plan van Bacon werd gerealiseerd. Het plan werd met publieke steun uitgevoerd, maar zou later kritiek krijgen van stedenbouwkundigen en de bekende journaliste Jane Jacobs, omdat ze de levendige stedelijke activiteit ondergronds plaatsten en geen gebruik maakten van de bovengrondse promenade, en geen rekening hielden met het feitelijke menselijke gebruik van de ruimte.
Tijdens het midden en het einde van de 20e eeuw begon de kantoorsector van de stad zich naar het westen te verplaatsen, naar het Penn Center-gebied, dankzij de inspanningen op het gebied van planning. Naarmate de kantoorbevolking meer in de voorsteden ging wonen, kregen de stadsplanners voorrang op de bereikbaarheid van Suburban Station boven het lokale stadsvervoer.
Heden ten dage is de naam Penn Center officieel verbonden aan 11 kantoorgebouwen in de midden- en hoogbouw.
De meeste gebouwen van het complex zijn verbonden met de winkelhallen van Suburban Station (gerenoveerd in 2007) en in het verlengde daarvan met de Center City Concourse. De gebouwen delen een laad- en afleveringsentree aan Commerce Street die alle gebouwen ondergronds verbindt. Hoewel het geen deel uitmaakt van Penn Center, sluit het Comcast Center aan op de concourse; een dergelijke optie is ook onderzocht voor het geannuleerde American Commerce Center.