W 1881 roku Pennsylvania Railroad wprowadziła obsługę pasażerów do centrum miasta i zbudowała pierwszą stację Broad Street Station tuż na zachód od ratusza. Morze żelaznych filarów podtrzymujących podwyższone torowisko PRR zostało zastąpione w latach 90-tych XIX wieku przez 10-blokowy kamienny wiadukt prowadzący nad rzekę Schuylkill. To stworzyło barierę o szerokości bloku, znaną jako Mur Chiński, przecinając zachodnią część miasta na pół i zniechęcając do rozwoju.
W tym czasie większość działalności handlowej w Center City była na wschód od Broad Street, dlatego linia SEPTA Market-Frankford nie ma przystanków między 30th Street Station i 15th Street. (Stacje na 19th Street i 22nd Street są obsługiwane przez SEPTA Subway-Surface Trolley Lines.)
W 1925 roku, Pennsylvania Railroad ogłosiła swój zamiar opuszczenia Broad Street Station, uwalniając ziemię do ponownego zagospodarowania. Kolej, która zarówno przerosła stację, jak i była obciążona operacyjnie przez jej końcówkę, miała przenieść swoje operacje do nowo wybudowanych stacji 30th Street Station i Suburban Station. Stacje te zostały ukończone i oddane do użytku w 1933 roku, ale szereg czynników, w tym Wielki Kryzys, który wstrzymał planowaną przebudowę, zmusił kolej do dalszego wykorzystywania Broad Street Station dla niektórych typów pociągów (takich jak Philadelphia-New York „Clockers” i napędzane parą pociągi Pennsylvania-Reading Seashore Lines) przez prawie dwie kolejne dekady. Stacja Broad Street Station została całkowicie opuszczona dopiero w 1952 roku, za kadencji burmistrza Josepha S. Clarka. Plany rozbiórki Muru Chińskiego i towarzyszącej mu stacji kolejowej zostały sfinalizowane i obie zostały zrównane z ziemią w 1953 roku.
Ed Bacon, dyrektor wykonawczy Filadelfijskiej Komisji Planowania Miasta, wymyślił plan generalny dla obszaru czterech przecznic, który miał zostać oczyszczony. Bacon nazwał nowe miejsce Penn Center z nadzieją, że stanie się ono centrum biznesowym i wzorem dla przyszłego rozwoju. Jego plan przebudowy tego miejsca obejmował trzy duże wieże biurowe, centrum handlowe dla pieszych oraz podziemny pasaż, w którym miały znajdować się sklepy i punkty usługowe. Do zaprojektowania większości budynków wybrał architekta Vincenta Klinga, a nie Louisa Kahna, innego potencjalnego pretendenta. Pennsylvania Railroad chciała odsprzedać teren na mniejsze działki, ale burmistrz Clark wykorzystał swoje wpływy polityczne, aby plan Bacona został zrealizowany. Plan został zrealizowany przy wsparciu publicznym, ale później spotkał się z krytyką ze strony urbanistów i znanej dziennikarki Jane Jacobs za umieszczenie tętniącej życiem aktywności miejskiej pod ziemią, nie pozostawiając żadnego zastosowania dla naziemnej promenady i nie biorąc pod uwagę rzeczywistego wykorzystania przestrzeni przez ludzi.
Przez połowę do końca XX wieku, sektor biurowy miasta zaczął przenosić się na zachód do obszaru Penn Center, dzięki wysiłkom planistycznym. W miarę jak populacja pracująca w biurach stawała się coraz bardziej podmiejska, dogodny dostęp do Suburban Station zaczął mieć pierwszeństwo dla planistów miejskich przed lokalnym dostępem do tranzytu miejskiego.
Dzisiaj, nazwa Penn Center jest oficjalnie dołączona do 11 średnich i wysokich budynków biurowych.
Większość budynków kompleksu jest połączona z pasażem handlowym Suburban Station (odnowionym w 2007 r.), a przez rozszerzenie z Center City Concourse. Budynki mają wspólne wejście załadunkowe i dostawcze na Commerce Street, które łączy się z wszystkimi budynkami pod ziemią. Centrum Comcast, mimo że nie jest częścią Penn Center, łączy się z concourse; taka opcja była również rozpatrywana w przypadku odwołanego American Commerce Center.