Nel 1881, la Pennsylvania Railroad portò il servizio passeggeri nel centro della città, e costruì la prima Broad Street Station appena ad ovest del City Hall. Il mare di pilastri di ferro che reggeva il binario sopraelevato della PRR fu sostituito nel 1890 da un viadotto in pietra di 10 isolati verso il fiume Schuylkill. Questo creò una barriera larga un isolato conosciuta come la Muraglia Cinese, tagliando la parte occidentale della città a metà e scoraggiando lo sviluppo in quella zona.
All’epoca, la maggior parte delle attività commerciali in Center City era ad est di Broad Street, ed è per questo che la linea SEPTA Market-Frankford non ha fermate tra la stazione della 30esima e la 15esima strada. (Le stazioni di 19th Street e 22nd Street sono servite dalla SEPTA Subway-Surface Trolley Lines.)
Nel 1925, la Pennsylvania Railroad annunciò la sua intenzione di lasciare la Broad Street Station, liberando il terreno per la riqualificazione. La ferrovia, che era diventata troppo grande per la stazione ed era gravata operativamente dalla sua natura di stub-end, avrebbe spostato le sue operazioni alla stazione della 30a strada e alla stazione suburbana di nuova costruzione. Queste stazioni furono completate e in funzione nel 1933, ma una serie di fattori, tra cui la Grande Depressione che bloccò il progetto di riqualificazione, costrinsero la ferrovia a continuare a utilizzare la Broad Street Station per alcuni tipi di treni (come i “Clockers” Philadelphia-New York, e i treni a vapore della Pennsylvania-Reading Seashore Lines) per quasi altri due decenni. Broad Street Station non fu completamente liberata fino al 1952, durante il mandato del sindaco Joseph S. Clark. I piani per la demolizione della Muraglia Cinese e della stazione ferroviaria di accompagnamento furono finalizzati ed entrambi furono rasi al suolo nel 1953.
Ed Bacon, direttore esecutivo della Philadelphia City Planning Commission, elaborò un piano generale per un’area di quattro isolati da liberare. Bacon chiamò il nuovo sito Penn Center con la speranza che sarebbe diventato un centro d’affari e un modello per lo sviluppo futuro. Il suo piano per la riqualificazione del sito includeva tre grandi torri di uffici, un centro commerciale pedonale e un atrio sotterraneo dove sarebbero stati collocati negozi e attività commerciali. Scelse l’architetto Vincent Kling per progettare la maggior parte degli edifici rispetto a Louis Kahn, un altro possibile concorrente. La Pennsylvania Railroad voleva vendere il terreno in lotti più piccoli per uno sviluppo frammentario, ma il sindaco Clark usò la sua influenza politica per far sì che il piano di Bacon fosse realizzato. Il piano fu implementato con il supporto pubblico, ma sarebbe stato criticato in seguito dagli urbanisti e dalla famosa giornalista Jane Jacobs per aver collocato la vibrante attività urbana nel sottosuolo senza lasciare alcun uso per la passeggiata in superficie, e non tenendo conto dell’effettivo uso umano dello spazio.
Per tutta la metà e la fine del XX secolo, il settore degli uffici della città cominciò a spostarsi verso ovest nell’area del Penn Center, grazie agli sforzi di pianificazione. Man mano che la popolazione che lavorava in ufficio diventava più suburbana, l’accesso conveniente alla Suburban Station cominciò ad avere la precedenza per i pianificatori della città rispetto all’accesso al transito locale.
Oggi, il nome Penn Center è ufficialmente legato a 11 edifici per uffici di media e alta altezza.
La maggior parte degli edifici del complesso sono collegati al concourse della Suburban Station (rinnovato nel 2007) e per estensione al Center City Concourse. Gli edifici condividono un ingresso di carico e consegna su Commerce Street che si collega a tutti gli edifici nel sottosuolo. Sebbene non faccia parte del Penn Center, il Comcast Center si collega al concourse; una simile opzione è stata esaminata anche per il cancellato American Commerce Center.