>
Em 1881, a Pennsylvania Railroad trouxe o serviço de passageiros para o centro da cidade, e construiu a primeira Estação Broad Street a oeste da Câmara Municipal. O mar de pilares de ferro que seguravam o leito elevado do PRR foi substituído na década de 1890 por um viaduto de pedra de 10 quarteirões até o rio Schuylkill. Isto criou uma barreira de quarteirão conhecida como The Chinese Wall, cortando a parte oeste da cidade pela metade e desencorajando o desenvolvimento da mesma.
Na época, a maior parte da atividade comercial no centro da cidade era a leste da Broad Street, razão pela qual a linha SEPTA Market-Frankford não tem paradas entre a 30th Street Station e a 15th Street. (As estações da Rua 19 e da Rua 22 são servidas pelas linhas SEPTA do Metrô-Frankford.)
Em 1925, a Ferrovia da Pensilvânia anunciou sua intenção de deixar a Estação da Broad Street, liberando o terreno para a reforma. A ferrovia, que tinha ultrapassado a estação e estava operacionalmente sobrecarregada pela sua natureza de stub-end, deslocaria as suas operações para a recém-construída Estação da Rua 30 e Estação Suburbana. Essas estações estavam concluídas e em operação em 1933, mas uma série de fatores, incluindo a Grande Depressão que paralisou o desenvolvimento planejado, forçou a ferrovia a continuar utilizando a Estação Broad Street para certos tipos de trens (como os “Clockers” Filadélfia-Nova York, e trens movidos a vapor das Linhas Marítimas Pennsylvania-Reading) por quase mais duas décadas. A estação Broad Street Station não foi completamente desocupada até 1952, durante o mandato do prefeito Joseph S. Clark. Os planos para a demolição da Muralha da China e da estação de trem que a acompanhava foram finalizados e ambos foram arrasados em 1953.
Ed Bacon, diretor executivo da Comissão de Planejamento da Cidade da Filadélfia, chegou a um plano mestre para uma área de quatro quarteirões a ser limpa. Bacon nomeou o novo site Penn Center com a esperança de que ele se tornasse um centro de negócios e modelo para desenvolvimento futuro. O seu plano para a reabilitação do local incluía três grandes torres de escritórios, um centro comercial para peões e um átrio subterrâneo onde o comércio e os negócios seriam localizados. Ele escolheu o arquiteto Vincent Kling para projetar a maior parte dos edifícios sobre Louis Kahn, outro possível concorrente. A Pennsylvania Railroad queria vender o terreno em lotes menores para desenvolvimento fragmentado, mas o prefeito Clark usou seu poder político para ver que o plano de Bacon foi realizado. O plano foi implementado com o apoio público, mas mais tarde seria criticado pelos urbanistas, e pela notável jornalista Jane Jacobs por colocar atividades urbanas vibrantes no subsolo, não deixando nenhum uso para o passeio acima do solo, e não dando conta do uso humano real do espaço.
Em meados do século 20, o setor de escritórios da cidade começou a se mover para o oeste para a área do Penn Center, graças aos esforços de planejamento. À medida que a população de escritórios se tornou mais suburbana, o acesso conveniente à Estação Suburbana começou a ter precedência sobre os planejadores da cidade em relação ao acesso de trânsito local.
Hoje, o nome Penn Center está oficialmente ligado a 11 edifícios de escritórios médios e altos.
A maior parte dos edifícios do complexo estão ligados ao concurso de varejo da Estação Suburbana (renovado em 2007) e, por extensão, ao Concurso da Cidade Central. Os edifícios partilham uma entrada de carga e entrega na Commerce Street que faz a ligação a todos os edifícios subterrâneos. Embora não faça parte do Penn Center, o Comcast Center se conecta ao concurso; tal opção também foi examinada para o Centro de Comércio Americano cancelado.