I 1881 bragte Pennsylvania Railroad passagertrafikken ind i centrum af byen og byggede den første Broad Street Station lige vest for rådhuset. Havet af jernsøjler, der holdt PRR’s hævede sporunderlag oppe, blev i 1890’erne erstattet af en stenviadukt i 10 blokke til Schuylkill River. Dette skabte en blokbred barriere, kendt som The Chinese Wall, der skar den vestlige del af byen i to dele og hindrede udviklingen der.
På det tidspunkt var de fleste kommercielle aktiviteter i Center City øst for Broad Street, hvilket er grunden til, at SEPTA Market-Frankford Line ikke har nogen stop mellem 30th Street Station og 15th Street. (Stationerne ved 19th Street og 22nd Street betjenes af SEPTA Subway-Surface Trolley Lines.)
I 1925 meddelte Pennsylvania Railroad, at den havde til hensigt at forlade Broad Street Station, hvilket frigjorde jorden til ombygning. Jernbanen, som både var vokset ud af stationen og var driftsmæssigt belastet af dens stub-end karakter, ville flytte sine aktiviteter til den nybyggede 30th Street Station og Suburban Station. Disse stationer stod færdige og var i drift i 1933, men en række faktorer, herunder den store depression, der bremsede den planlagte ombygning, tvang jernbanen til fortsat at benytte Broad Street Station til visse typer tog (f.eks. Philadelphia-New York “Clockers” og dampdrevne tog fra Pennsylvania-Reading Seashore Lines) i næsten to årtier endnu. Broad Street Station blev ikke helt ryddet før 1952, under borgmester Joseph S. Clark. Planerne for nedrivning af den kinesiske mur og den tilhørende togstation blev færdiggjort, og begge blev revet ned i 1953.
Ed Bacon, administrerende direktør for Philadelphia City Planning Commission, kom med en masterplan for et område på fire blokke, der skulle ryddes. Bacon kaldte det nye område Penn Center med håbet om, at det ville blive et forretningscenter og en model for fremtidig udvikling. Hans plan for ombygningen af området omfattede tre store kontortårne, et gågadecenter og en underjordisk hal, hvor detailhandel og forretninger skulle placeres. Han valgte arkitekten Vincent Kling til at tegne de fleste af bygningerne frem for Louis Kahn, som var en anden mulig kandidat. Pennsylvania Railroad ønskede at sælge grunden i mindre parceller med henblik på en fragmentarisk udvikling, men borgmester Clark brugte sin politiske indflydelse til at sikre, at Bacons plan blev realiseret. Planen blev gennemført med offentlig støtte, men den ville senere blive kritiseret af byplanlæggere og den kendte journalist Jane Jacobs for at placere livlig byaktivitet under jorden uden at give plads til promenaden over jorden og uden at tage højde for den faktiske menneskelige brug af området.
I midten og slutningen af det 20. århundrede begyndte byens kontorsektor at flytte vestpå til Penn Center-området takket være planlægningsindsatsen. Efterhånden som den kontorarbejdende befolkning blev mere forstadsorienteret, begyndte byplanlæggere at prioritere bekvem adgang til Suburban Station frem for adgang til lokal bytransport.
I dag er Penn Center-navnet officielt knyttet til 11 kontorbygninger i mellem- og højhuse.
De fleste af bygningerne i komplekset er forbundet med Suburban Stations detailhandelshal (renoveret i 2007) og i forlængelse heraf Center City Concourse. Bygningerne deler en fælles ind- og udleveringsindgang på Commerce Street, som har forbindelse til alle bygningerne under jorden. Selv om det ikke er en del af Penn Center, er Comcast Center forbundet med gangen; en sådan mulighed blev også undersøgt for det aflyste American Commerce Center.