V roce 1881 zavedla Pennsylvánská železnice osobní dopravu do centra města a postavila první nádraží na Broad Street západně od radnice. Moře železných sloupů, které držely vyvýšené kolejiště PRR, bylo v 90. letech 19. století nahrazeno kamenným viaduktem o 10 blocích k řece Schuylkill. Vznikla tak bloková bariéra známá jako Čínská zeď, která rozdělila západní část města na dvě poloviny a odradila tamní zástavbu.
V té době se většina komerčních aktivit v Center City odehrávala na východ od Broad Street, a proto linka SEPTA Market-Frankford nemá mezi stanicemi 30. ulice a 15. ulicí žádné zastávky. (Stanice na 19. a 22. ulici jsou obsluhovány trolejbusovými linkami SEPTA Subway-Surface).
V roce 1925 oznámila společnost Pennsylvania Railroad svůj záměr opustit stanici Broad Street Station, čímž uvolnila pozemek pro přestavbu. Železnice, která stanici jednak přerostla, jednak byla provozně zatížena jejím koncovým charakterem, měla svůj provoz přesunout na nově vybudované nádraží na 30. ulici a příměstské nádraží. Tyto stanice byly dokončeny a zprovozněny v roce 1933, ale řada faktorů, včetně velké hospodářské krize, která zastavila plánovanou přestavbu, přinutila železnici nadále využívat stanici Broad Street Station pro některé typy vlaků (například „Clockers“ z Filadelfie do New Yorku a parní vlaky Pennsylvania-Reading Seashore Lines) po další téměř dvě desetiletí. Stanice Broad Street Station byla zcela opuštěna až v roce 1952 za starosty Josepha S. Clarka. Plány na demolici Čínské zdi a doprovodného nádraží byly dokončeny a obojí bylo srovnáno se zemí v roce 1953.
Ed Bacon, výkonný ředitel filadelfské městské plánovací komise, přišel s generálním plánem na vyklizení čtyřblokové oblasti. Bacon pojmenoval novou lokalitu Penn Center s nadějí, že se stane obchodním centrem a vzorem pro budoucí rozvoj. Jeho plán přestavby této lokality zahrnoval tři velké kancelářské věže, pěší centrum a podzemní halu, kde měly být umístěny maloobchodní a obchodní prostory. Pro návrh většiny budov vybral architekta Vincenta Klinga místo Louise Kahna, dalšího možného uchazeče. Pennsylvánská železnice chtěla pozemky rozprodat po menších parcelách pro dílčí zástavbu, ale starosta Clark využil svého politického vlivu, aby se Baconův plán uskutečnil. Plán byl realizován s podporou veřejnosti, ale později se stal terčem kritiky urbanistů a významné novinářky Jane Jacobsové za to, že umístila čilé městské aktivity pod zem a neponechala žádné využití pro nadzemní promenádu a nezohlednila skutečné využití prostoru lidmi.
V polovině a na konci 20. století se díky plánování začal kancelářský sektor města přesouvat na západ do oblasti Penn Center. Jak se obyvatelstvo pracující v kancelářích stále více suburbanizovalo, začal mít pohodlný přístup k nádraží Suburban Station pro plánovače města přednost před přístupem k místní městské dopravě.
Dnes je název Penn Center oficiálně spojen s 11 středně vysokými a vysokými kancelářskými budovami.
Většina budov komplexu je napojena na obchodní halu nádraží Suburban Station (renovovanou v roce 2007) a tím i na halu Center City Concourse. Budovy mají společný vjezd pro nakládku a zásobování na ulici Commerce Street, který spojuje všechny budovy v podzemí. Ačkoli není součástí Penn Center, Comcast Center se napojuje na dopravní halu; taková možnost byla prověřována i u zrušeného American Commerce Center.