Vuonna 1881 Pennsylvania Railroad toi matkustajaliikenteen kaupungin keskustaan ja rakensi ensimmäisen Broad Streetin aseman aivan kaupungintalon länsipuolelle. PRR:n korotettua ratapohjaa ylläpitävä rautapilarien meri korvattiin 1890-luvulla Schuylkill-joelle johtavalla 10-lohkoisella kiviviadukilla. Tämä loi korttelin levyisen esteen, joka tunnettiin nimellä The Chinese Wall, ja se leikkasi kaupungin länsiosan kahtia ja esti kehitystä siellä.
Center Cityssä suurin osa kaupallisesta toiminnasta oli tuohon aikaan Broad Streetin itäpuolella, minkä vuoksi SEPTA:n Market-Frankford Line -linjalla ei ole pysäkkejä 30th Streetin aseman ja 15th Streetin välillä. (19th Streetin ja 22nd Streetin asemia palvelevat SEPTA Subway-Surface Trolley -linjat.)
Vuonna 1925 Pennsylvania Railroad ilmoitti aikomuksestaan luopua Broad Streetin asemasta, mikä vapautti maa-alueen uudelleenrakentamista varten. Rautatieyhtiö, joka oli sekä kasvanut aseman suuremmaksi että rasittunut toiminnallisesti aseman tynkäpäästä, siirtäisi toimintansa vastarakennetulle 30th Streetin asemalle ja esikaupunkiasemalle. Nämä asemat valmistuivat ja olivat toiminnassa vuoteen 1933 mennessä, mutta useat tekijät, kuten suuri lama, joka pysäytti suunnitellun uudelleenrakentamisen, pakottivat rautatiet jatkamaan Broad Streetin aseman käyttöä tietyntyyppisille junille (kuten Philadelphia-New Yorkin ”Clockers” -junille ja Pennsylvania-Reading Seashore Lines -yhtiön höyryvetoisille junille) vielä lähes kaksi vuosikymmentä. Broad Streetin asema tyhjennettiin kokonaan vasta vuonna 1952, pormestari Joseph S. Clarkin aikana. Suunnitelmat kiinalaisen muurin ja siihen liittyvän rautatieaseman purkamisesta saatiin valmiiksi, ja molemmat raivattiin vuonna 1953.
Ed Bacon, Philadelphian kaupunkisuunnittelukomission toiminnanjohtaja, laati yleissuunnitelman raivattavasta neljän korttelin alueesta. Bacon nimesi uuden alueen Penn Centeriksi toivoen, että siitä tulisi liikekeskus ja malli tulevalle kehitykselle. Hänen suunnitelmansa alueen uudelleen kehittämiseksi sisälsi kolme suurta toimistotornia, kävelykeskustan ja maanalaisen aulan, jonne oli tarkoitus sijoittaa vähittäiskauppaa ja liiketoimintaa. Hän valitsi arkkitehti Vincent Klingin suunnittelemaan suurimman osan rakennuksista toisen mahdollisen ehdokkaan Louis Kahnin sijaan. Pennsylvania Railroad halusi myydä maa-alueen pienempiin osiin, mutta pormestari Clark käytti poliittista vaikutusvaltaansa varmistaakseen, että Baconin suunnitelma toteutui. Suunnitelma toteutettiin julkisella tuella, mutta kaupunkisuunnittelijat ja merkittävä toimittaja Jane Jacobs arvostelivat sitä myöhemmin siitä, että se sijoitti vilkkaan kaupunkitoiminnan maan alle, jolloin maanpäälliselle kävelykadulle ei jäänyt mitään käyttöä, ja että se ei ottanut huomioon tilan todellista käyttöä ihmisten toimesta.
1900-luvun puolivälin ja lopun välisenä aikana kaupungin toimistosektori alkoi siirtyä länteen Penn Centerin alueelle suunnitteluponnistelujen ansiosta. Kun toimistotyötä tekevä väestö muuttui yhä esikaupunkimaisemmaksi, kaupunkisuunnittelijat alkoivat pitää Suburban Stationin kätevää saavutettavuutta tärkeämpänä kuin paikallista kaupunkiliikennettä.
Tänään Penn Center -nimi on virallisesti liitetty 11:een keskikorkeaan ja korkeaan toimistorakennukseen.
Kompleksin useimmat rakennukset liittyvät Suburban Stationin vähittäiskaupan kauppahalliin (joka remontoitiin vuonna 2007) ja sitä kautta Center Cityn kauppahalliin. Rakennuksilla on yhteinen lastaus- ja toimitussisäänkäynti Commerce Streetillä, josta on yhteys kaikkiin rakennuksiin maan alla. Vaikka Comcast Center ei ole osa Penn Centeriä, se on yhteydessä halliin; tällaista vaihtoehtoa tutkittiin myös peruutetun American Commerce Centerin osalta.