Im Jahr 1881 nahm die Pennsylvania Railroad den Personenverkehr im Stadtzentrum auf und baute die erste Broad Street Station westlich des Rathauses. Das Meer aus Eisensäulen, das das erhöhte Gleisbett der PRR stützte, wurde in den 1890er Jahren durch ein zehn Blöcke umfassendes Steinviadukt zum Schuylkill River ersetzt. Dadurch entstand eine blockbreite Barriere, die als Chinesische Mauer bekannt wurde, den westlichen Teil der Stadt in zwei Hälften schnitt und die Entwicklung dort behinderte.
Zu dieser Zeit befand sich der größte Teil der kommerziellen Aktivitäten in Center City östlich der Broad Street, weshalb die SEPTA Market-Frankford Line zwischen der 30th Street Station und der 15th Street keine Haltestellen hat. (Die Stationen an der 19th Street und 22nd Street werden von SEPTA Subway-Surface Trolley Lines bedient.)
Im Jahr 1925 gab die Pennsylvania Railroad ihre Absicht bekannt, die Broad Street Station aufzugeben und das Gelände für eine Neubebauung freizugeben. Die Eisenbahngesellschaft, die aus dem Bahnhof herausgewachsen war und dessen Betrieb durch die Endstation belastet wurde, würde ihren Betrieb in die neu errichtete 30th Street Station und Suburban Station verlegen. Diese Bahnhöfe wurden 1933 fertiggestellt und in Betrieb genommen, doch eine Reihe von Faktoren, darunter die Weltwirtschaftskrise, die die geplante Sanierung ins Stocken brachte, zwangen die Bahn, den Bahnhof Broad Street Station noch fast zwei Jahrzehnte lang für bestimmte Zugtypen zu nutzen (z. B. für die „Clockers“ von Philadelphia nach New York und die dampfgetriebenen Züge der Pennsylvania-Reading Seashore Lines). Erst 1952, während der Amtszeit von Bürgermeister Joseph S. Clark, wurde die Broad Street Station vollständig geräumt. Die Pläne für den Abriss der Chinesischen Mauer und des dazugehörigen Bahnhofs wurden fertiggestellt, und beide wurden 1953 abgerissen.
Ed Bacon, geschäftsführender Direktor der Stadtplanungskommission von Philadelphia, entwarf einen Masterplan für ein vier Blocks großes Gebiet, das geräumt werden sollte. Bacon nannte das neue Gebiet Penn Center, in der Hoffnung, dass es ein Geschäftszentrum und ein Modell für die zukünftige Entwicklung werden würde. Sein Plan für die Neugestaltung des Geländes sah drei große Bürotürme, eine Fußgängerpassage und eine unterirdische Halle vor, in der Einzelhandel und Gewerbe angesiedelt werden sollten. Er beauftragte den Architekten Vincent Kling mit dem Entwurf der meisten Gebäude und zog damit Louis Kahn, einem anderen möglichen Bewerber, vor. Die Pennsylvania Railroad wollte das Land in kleineren Parzellen verkaufen, um es stückweise zu bebauen, aber Bürgermeister Clark setzte seinen politischen Einfluss ein, um Bacons Plan zu verwirklichen. Der Plan wurde mit öffentlicher Unterstützung umgesetzt, geriet aber später in die Kritik von Stadtplanern und der bekannten Journalistin Jane Jacobs, weil sie die lebhaften städtischen Aktivitäten in den Untergrund verlegten und keine Verwendung für die oberirdische Promenade hatten, und weil sie die tatsächliche Nutzung des Raums durch die Menschen nicht berücksichtigten.
Mitte bis Ende des 20. Mit der zunehmenden Suburbanisierung der Bürobevölkerung wurde die bequeme Anbindung an die Suburban Station für die Stadtplaner wichtiger als die Anbindung an den öffentlichen Nahverkehr.
Heute ist der Name Penn Center offiziell an 11 mittel- und hochgeschossigen Bürogebäuden angebracht.
Die meisten Gebäude des Komplexes sind mit der 2007 renovierten Einzelhandelshalle der Suburban Station und damit mit dem Center City Concourse verbunden. Die Gebäude haben eine gemeinsame Lade- und Anlieferungszufahrt an der Commerce Street, die alle Gebäude unterirdisch miteinander verbindet. Das Comcast Center ist zwar nicht Teil des Penn Centers, hat aber eine Verbindung zum Concourse; eine solche Option wurde auch für das abgebrochene American Commerce Center geprüft.