1881-ben a Pennsylvania Railroad személyszállítási szolgáltatást hozott a városközpontba, és megépítette az első Broad Street-i állomást a városházától nyugatra. A PRR felemelt pályaszakaszát tartó vasoszlopok tengerét az 1890-es években a Schuylkill folyóhoz vezető, 10 tömbből álló kőviadukt váltotta fel. Ez a Kínai Fal néven ismert, tömbökre kiterjedő akadályt hozott létre, amely kettévágta a város nyugati részét, és megakadályozta az ottani fejlődést.
Az akkori Center Cityben a legtöbb kereskedelmi tevékenység a Broad Streettől keletre folyt, ezért a SEPTA Market-Frankford vonal nem áll meg a 30th Street Station és a 15th Street között. (A 19. és 22. utcai állomásokat a SEPTA metró-felszíni trolijáratai szolgálják ki.)
1925-ben a Pennsylvania Railroad bejelentette szándékát, hogy elhagyja a Broad Street állomást, felszabadítva a területet az újjáépítés számára. A vasút, amely egyrészt kinőtte az állomást, másrészt működési szempontból is megterhelő volt annak csonkasága miatt, az újonnan épített 30. utcai állomásra és elővárosi állomásra költözött volna. Ezek az állomások 1933-ra elkészültek és működésbe léptek, de számos tényező, köztük a Nagy Gazdasági Világválság, amely megakasztotta a tervezett újjáépítést, arra kényszerítette a vasúttársaságot, hogy bizonyos típusú vonatok (például a Philadelphia-New York “Clockers” és a Pennsylvania-Reading Seashore Lines gőzüzemű vonatai) még közel két évtizedig használják a Broad Street Stationt. A Broad Street Stationt csak 1952-ben, Joseph S. Clark polgármester idején ürítették ki teljesen. A Kínai Fal és a hozzá tartozó vasútállomás lebontásának terveit véglegesítették, és 1953-ban mindkettőt lerombolták.
Ed Bacon, a Philadelphia Várostervezési Bizottságának ügyvezető igazgatója egy négy háztömbnyi terület kiürítésének mestertervével állt elő. Bacon az új területet Penn Center-nek nevezte el, abban a reményben, hogy üzleti központtá és a jövőbeli fejlődés modelljévé válik. A terület újjáépítésére vonatkozó terve három nagy irodatornyot, egy sétálóutcát és egy földalatti csarnokot tartalmazott, ahol a kiskereskedelem és az üzletek kaptak volna helyet. Az épületek többségének megtervezésére Vincent Kling építészt választotta Louis Kahn, a másik lehetséges pályázó helyett. A Pennsylvania Railroad kisebb részekre bontva akarta eladni a területet, hogy azt apránként fejlesszék, de Clark polgármester politikai befolyását felhasználva elérte, hogy Bacon terve megvalósuljon. A terv a közvélemény támogatásával valósult meg, de később bírálat érte a várostervezők és a neves újságíró, Jane Jacobs részéről, amiért az élénk városi tevékenységet a föld alá helyezte, így a föld feletti sétánynak nem maradt haszna, és nem vette figyelembe a tér tényleges emberi használatát.
A 20. század közepén és végén a város irodai szektora a tervezési erőfeszítéseknek köszönhetően elkezdett nyugatra, a Penn Center területére költözni. Ahogy az irodai munkát végző lakosság egyre inkább elővárosiasodott, a Suburban Station kényelmes megközelíthetősége kezdett elsőbbséget élvezni a várostervezők számára a helyi városi közlekedési eszközök elérhetőségével szemben.
Most a Penn Center név hivatalosan 11 közép- és magasházas irodaházhoz kapcsolódik.
A komplexum legtöbb épülete kapcsolódik a Suburban Station (2007-ben felújított) kiskereskedelmi csarnokához és ezen keresztül a Center City csarnokhoz. Az épületek közös rakodó- és kiszállítási bejárattal rendelkeznek a Commerce Street-en, amely az összes épületet a föld alatt köti össze. Bár nem része a Penn Center-nek, a Comcast Center csatlakozik az előcsarnokhoz; ilyen lehetőséget vizsgáltak a törölt American Commerce Center esetében is.