En 1881, el Ferrocarril de Pensilvania llevó el servicio de pasajeros al centro de la ciudad, y construyó la primera Estación de Broad Street justo al oeste del Ayuntamiento. El mar de pilares de hierro que sostenía la vía elevada del PRR fue sustituido en la década de 1890 por un viaducto de piedra de 10 manzanas hasta el río Schuylkill. Esto creó una barrera de manzanas conocida como la Muralla China, que cortaba la parte occidental de la ciudad por la mitad y desalentaba el desarrollo de la misma.
En aquella época, la mayor parte de la actividad comercial en el centro de la ciudad estaba al este de la calle Broad, razón por la cual la línea Market-Frankford de la SEPTA no tiene paradas entre la estación de la calle 30 y la calle 15. (Las estaciones de la calle 19 y la calle 22 están servidas por las líneas de metro-tranvía de la SEPTA.)
En 1925, el ferrocarril de Pensilvania anunció su intención de abandonar la estación de la calle Broad, liberando el terreno para su reurbanización. El ferrocarril, que se había quedado pequeño en la estación y que estaba agobiado por su naturaleza, trasladaría sus operaciones a las recién construidas 30th Street Station y Suburban Station. Estas estaciones se terminaron y entraron en funcionamiento en 1933, pero una serie de factores, como la Gran Depresión, que paralizó la remodelación prevista, obligaron al ferrocarril a seguir utilizando la estación de Broad Street para ciertos tipos de trenes (como los «Clockers» de Filadelfia-Nueva York y los trenes de vapor de las líneas Pennsylvania-Reading Seashore) durante casi dos décadas más. La estación de Broad Street no se desalojó por completo hasta 1952, durante el mandato del alcalde Joseph S. Clark. Los planes para la demolición de la Muralla China y de la estación de tren que la acompañaba finalizaron y ambas fueron arrasadas en 1953.
Ed Bacon, director ejecutivo de la Comisión de Planificación de la Ciudad de Filadelfia, elaboró un plan maestro para una zona de cuatro manzanas que debía ser despejada. Bacon llamó al nuevo lugar Penn Center con la esperanza de que se convirtiera en un centro de negocios y en un modelo para el desarrollo futuro. Su plan de reurbanización incluía tres grandes torres de oficinas, un centro comercial peatonal y una explanada subterránea en la que se instalarían comercios y empresas. Eligió al arquitecto Vincent Kling para diseñar la mayoría de los edificios en lugar de Louis Kahn, otro posible candidato. El ferrocarril de Pensilvania quería vender el terreno en lotes más pequeños para un desarrollo fragmentario, pero el alcalde Clark utilizó su influencia política para hacer realidad el plan de Bacon. El plan se llevó a cabo con el apoyo del público, pero más tarde sería criticado por los planificadores urbanos y por la notable periodista Jane Jacobs por situar la vibrante actividad urbana en el subsuelo, sin dejar ningún uso para el paseo de la superficie, y por no tener en cuenta el uso real del espacio por parte de las personas.
A mediados y finales del siglo XX, el sector de las oficinas de la ciudad comenzó a trasladarse al oeste, a la zona del Penn Center, gracias a los esfuerzos de planificación. A medida que la población que trabajaba en las oficinas se fue suburbanizando, los planificadores de la ciudad empezaron a dar prioridad al acceso a la estación de cercanías sobre el acceso al transporte público local.
Hoy en día, el nombre de Penn Center está oficialmente vinculado a 11 edificios de oficinas de mediana y gran altura.
La mayoría de los edificios del complejo están conectados con el vestíbulo comercial de la estación de cercanías (renovado en 2007) y, por extensión, con el vestíbulo del centro de la ciudad. Los edificios comparten una entrada de carga y entrega en Commerce Street que conecta con todos los edificios en el subsuelo. Aunque no forma parte del Penn Center, el Comcast Center está conectado a la explanada; esta opción también se examinó para el cancelado American Commerce Center.