En 1881, la Pennsylvania Railroad a apporté un service de transport de passagers dans le centre de la ville, et a construit la première Broad Street Station juste à l’ouest de l’hôtel de ville. La mer de piliers en fer qui soutenait la voie ferrée surélevée du PRR a été remplacée dans les années 1890 par un viaduc en pierre de 10 blocs vers la rivière Schuylkill. Cela a créé une barrière de la largeur d’un pâté de maisons, connue sous le nom de Muraille de Chine, coupant la partie ouest de la ville en deux et décourageant le développement dans cette zone.
À l’époque, la plupart des activités commerciales du Center City se trouvaient à l’est de Broad Street, ce qui explique pourquoi la ligne Market-Frankford de la SEPTA n’a pas d’arrêt entre la station 30th Street et la 15th Street. (Les stations de la 19e rue et de la 22e rue sont desservies par les lignes de trolley de surface de la SEPTA Subway-Surface.)
En 1925, la Pennsylvania Railroad annonça son intention de quitter la gare de Broad Street, libérant ainsi le terrain pour le réaménagement. Le chemin de fer, qui était à la fois trop grand pour la gare et trop lourd du point de vue opérationnel en raison de sa nature en bout de ligne, allait déplacer ses opérations vers la gare de 30th Street et la gare de Suburban nouvellement construites. Ces gares ont été achevées et sont entrées en service en 1933, mais un certain nombre de facteurs, dont la Grande Dépression qui a bloqué le réaménagement prévu, ont contraint le chemin de fer à continuer d’utiliser la gare de Broad Street pour certains types de trains (tels que les « Clockers » de Philadelphie-New York et les trains à vapeur de la Pennsylvania-Reading Seashore Lines) pendant près de deux décennies supplémentaires. La Broad Street Station n’a été complètement libérée qu’en 1952, pendant le mandat du maire Joseph S. Clark. Les plans de démolition de la Muraille de Chine et de la gare qui l’accompagnait ont été finalisés et les deux ont été rasés en 1953.
Ed Bacon, directeur exécutif de la Commission d’urbanisme de Philadelphie, est arrivé avec un plan directeur pour une zone de quatre blocs à dégager. Bacon a nommé le nouveau site Penn Center dans l’espoir qu’il devienne un centre d’affaires et un modèle pour le développement futur. Son plan de réaménagement du site comprend trois grandes tours de bureaux, une galerie piétonne et un hall souterrain où seront installés des commerces et des entreprises. Il choisit l’architecte Vincent Kling pour concevoir la plupart des bâtiments plutôt que Louis Kahn, un autre candidat possible. La Pennsylvania Railroad voulait vendre le terrain en petits lots pour un développement fragmenté, mais le maire Clark a utilisé son influence politique pour que le plan de Bacon soit réalisé. Le plan a été mis en œuvre avec le soutien du public, mais il fera l’objet de critiques plus tard de la part des urbanistes, et de la journaliste notable Jane Jacobs pour avoir placé l’activité urbaine vibrante sous terre, ne laissant aucune utilité à la promenade au-dessus du sol, et ne tenant pas compte de l’utilisation humaine réelle de l’espace.
Pendant tout le milieu et la fin du 20e siècle, le secteur des bureaux de la ville a commencé à se déplacer vers l’ouest dans la zone de Penn Center, grâce aux efforts de planification. Au fur et à mesure que la population travaillant dans les bureaux s’est suburbanisée, l’accès pratique à la Suburban Station a commencé à avoir la priorité pour les urbanistes sur l’accès aux transports en commun de la ville locale.
Aujourd’hui, le nom Penn Center est officiellement attaché à 11 immeubles de bureaux de moyenne et grande hauteur.
La plupart des bâtiments du complexe sont reliés au hall de vente au détail de la Suburban Station (rénové en 2007) et par extension au Center City Concourse. Les bâtiments partagent une entrée de chargement et de livraison sur Commerce Street qui relie tous les bâtiments en sous-sol. Bien qu’il ne fasse pas partie du Penn Center, le Comcast Center est relié au hall ; une telle option a également été examinée pour l’annulé American Commerce Center.