În 1881, Pennsylvania Railroad a adus serviciul de pasageri în centrul orașului și a construit prima gară din Broad Street chiar la vest de primărie. Marea de stâlpi de fier care susținea calea ferată supraînălțată a PRR a fost înlocuită în anii 1890 cu un viaduct de piatră de 10 blocuri până la râul Schuylkill. Acest lucru a creat o barieră la nivel de bloc, cunoscută sub numele de Zidul Chinezesc, tăind porțiunea vestică a orașului în două și descurajând dezvoltarea acolo.
La acea vreme, cea mai mare parte a activității comerciale din Center City se afla la est de Broad Street, motiv pentru care linia SEPTA Market-Frankford Line nu are stații între 30th Street Station și 15th Street. (Stațiile de la 19th Street și 22nd Street sunt deservite de SEPTA Subway-Surface Trolley Lines.)
În 1925, Pennsylvania Railroad și-a anunțat intenția de a părăsi Broad Street Station, eliberând terenul pentru reamenajare. Calea ferată, care atât depășise dimensiunea stației, cât și era împovărată din punct de vedere operațional de natura sa de capăt de linie, urma să își mute operațiunile în stația nou construită 30th Street Station și Suburban Station. Aceste stații au fost finalizate și puse în funcțiune până în 1933, dar o serie de factori, inclusiv Marea Depresiune, care a blocat proiectul de reamenajare planificat, a forțat calea ferată să continue să utilizeze stația Broad Street Station pentru anumite tipuri de trenuri (cum ar fi „Clockers” Philadelphia-New York și trenurile cu aburi ale liniilor Pennsylvania-Reading Seashore Lines) timp de încă aproape două decenii. Stația Broad Street Station a fost eliberată complet abia în 1952, în timpul mandatului primarului Joseph S. Clark. Planurile de demolare a Zidului Chinezesc și a gării care îl însoțea au fost finalizate și ambele au fost rase în 1953.
Ed Bacon, director executiv al Comisiei de Planificare a orașului Philadelphia, a venit cu un plan general pentru o zonă de patru blocuri care urma să fie curățată. Bacon a numit noul loc Penn Center în speranța că va deveni un centru de afaceri și un model pentru dezvoltarea viitoare. Planul său de reamenajare a sitului includea trei turnuri mari de birouri, un mall pietonal și un pasaj subteran în care urmau să fie amplasate magazine și afaceri. El l-a ales pe arhitectul Vincent Kling pentru a proiecta majoritatea clădirilor, în locul lui Louis Kahn, un alt posibil concurent. Calea ferată Pennsylvania Railroad dorea să vândă terenul în loturi mai mici pentru o dezvoltare fragmentată, dar primarul Clark și-a folosit influența politică pentru a se asigura că planul lui Bacon va fi realizat. Planul a fost pus în aplicare cu sprijinul publicului, dar avea să fie criticat mai târziu de urbaniști și de jurnalista notabilă Jane Jacobs pentru că a plasat activitatea urbană vibrantă în subteran, fără a lăsa nicio utilizare pentru promenada de la suprafață, și nu a ținut cont de utilizarea reală a spațiului de către oameni.
Între jumătatea și sfârșitul secolului XX, sectorul de birouri al orașului a început să se mute spre vest în zona Penn Center, datorită eforturilor de planificare. Pe măsură ce populația care lucrează în birouri a devenit mai suburbană, accesul convenabil la Suburban Station a început să aibă prioritate pentru planificatorii orașului față de accesul local la transportul în comun al orașului.
Astăzi, numele Penn Center este atașat în mod oficial la 11 clădiri de birouri de înălțime medie și mare.
Majoritatea clădirilor din complex sunt conectate la concursul de vânzare cu amănuntul Suburban Station (renovat în 2007) și, prin extensie, la concursul Center City. Clădirile au în comun o intrare de încărcare și livrare pe Commerce Street, care face legătura cu toate clădirile din subteran. Deși nu face parte din Penn Center, Comcast Center se conectează la concourse; o astfel de opțiune a fost, de asemenea, examinată pentru anulat American Commerce Center.
.