1881 införde Pennsylvania Railroad passagerartrafik i stadens centrum och byggde den första Broad Street Station strax väster om stadshuset. Det hav av järnpelare som höll upp PRR:s upphöjda spårbädd ersattes på 1890-talet av en stenviadukt i tio kvarter till Schuylkillfloden. Detta skapade en blockbred barriär som kallas den kinesiska muren, som skar den västra delen av staden på mitten och avskräckte utvecklingen där.
På den tiden låg den mesta kommersiella verksamheten i Center City öster om Broad Street, vilket är anledningen till att SEPTA:s Market-Frankford-linje inte har några hållplatser mellan 30th Street Station och 15th Street. (Stationerna vid 19th Street och 22nd Street betjänas av SEPTA Subway-Surface Trolley Lines.)
In 1925 meddelade Pennsylvania Railroad sin avsikt att lämna Broad Street Station, vilket frigjorde marken för sanering. Järnvägen, som både hade vuxit ur stationen och var operativt belastad av dess stubbända natur, skulle flytta sin verksamhet till den nybyggda 30th Street Station och Suburban Station. Dessa stationer var färdiga och i drift 1933, men ett antal faktorer, däribland den stora depressionen som stoppade den planerade ombyggnaden, tvingade järnvägen att fortsätta att använda Broad Street Station för vissa typer av tåg (t.ex. Philadelphia-New York ”Clockers” och de ångdrivna tågen från Pennsylvania-Reading Seashore Lines) i nästan två decennier till. Broad Street Station utrymdes inte helt förrän 1952, under borgmästare Joseph S. Clarks mandatperiod. Planerna för rivningen av den kinesiska muren och den tillhörande tågstationen slutfördes och båda raserades 1953.
Ed Bacon, verkställande direktör för Philadelphias stadsplaneringskommission, kom med en översiktsplan för ett område på fyra kvarter som skulle röjas. Bacon gav den nya platsen namnet Penn Center med förhoppningen att den skulle bli ett affärscentrum och en modell för framtida utveckling. Hans plan för ombyggnaden av området omfattade tre stora kontorstorn, en galleria för fotgängare och en underjordisk hall där detaljhandel och företag skulle placeras. Han valde arkitekten Vincent Kling för att rita de flesta av byggnaderna framför Louis Kahn, en annan möjlig kandidat. Pennsylvania Railroad ville sälja marken i mindre partier för en styckvis utveckling, men borgmästare Clark använde sitt politiska inflytande för att se till att Bacons plan förverkligades. Planen genomfördes med allmänhetens stöd, men den skulle senare komma att kritiseras av stadsplanerare och den berömda journalisten Jane Jacobs för att den placerade den livliga stadsaktiviteten under jord och inte lämnade någon användning för promenaden ovan jord, och för att den inte tog hänsyn till den faktiska mänskliga användningen av utrymmet.
I mitten och slutet av 1900-talet började stadens kontorssektor att röra sig västerut in i Penn Center-området, tack vare planeringsinsatser. I takt med att den kontorsarbetande befolkningen blev mer suburbaniserad började stadsplanerarna ge bekväm tillgång till Suburban Station företräde framför tillgång till lokala transporter i staden.
I dag är Penn Center-namnet officiellt knutet till 11 kontorsbyggnader i mitten och i höghus.
De flesta av byggnaderna i komplexet är kopplade till Suburban Stations butikshall (renoverad 2007) och i förlängningen till Center City Concourse. Byggnaderna delar en ingång för lastning och leverans på Commerce Street som ansluter till alla byggnader under jord. Även om Comcast Center inte är en del av Penn Center är det anslutet till hallen; ett sådant alternativ undersöktes också för det avbokade American Commerce Center.