De Wallabout werd voor het eerst door Europeanen bewoond toen enkele Franssprekende Waalse families er in het begin van de jaren 1630 land kochten, nadat zij in het decennium daarvoor vanuit Nederland in Nieuw-Nederland waren aangekomen. De vestiging van het gebied begon in het midden van de jaren 1630 toen Joris Jansen Rapelje handelsgoederen ruilde met de Canarsee Indianen voor ongeveer 335 acres (1.36 km2) land aan de Wallabout Baai, maar Rapelje wachtte, net als andere vroege Wallabout kolonisten, minstens een decennium voordat hij zich volledig in het gebied vestigde, totdat de conflicten met de stammen waren opgelost.
De meeste historische verslagen plaatsen Rapelje’s huis als het eerste huis dat aan de Wallabout Baai werd gebouwd. Zijn dochter Sarah was het eerste kind van Europese afkomst dat in Nieuw-Nederland werd geboren, en Rapelje diende later als magistraat van Brooklyn en als lid van de Raad van Twaalf Mannen. Rapelje’s schoonzoon Hans Hansen Bergen bezat een groot stuk land dat aan dat van Rapelje grensde. In de buurt waren tabaksplantages van Jan en Pieter Monfort, Peter Caesar Alberto, en andere boeren.
De Wallabout diende vanaf 1637 als aanlegplaats voor de eerste veerboot over de East River vanuit het lager gelegen Manhattan. Cornelis Dircksen, de eenzame veerman, bewerkte percelen aan beide zijden – dicht bij de plek waar nu de Brooklyn Bridge overspant – om zijn tijd aan beide oevers van de rivier zo goed mogelijk te benutten.
In 1638 werd het feodale systeem van landbezit opgeheven en werd de kleine nederzetting een kolonie van vrijgrondbezitters: na een periode van tien jaar waarin de kolonisten een tiende van hun opbrengst aan de Verenigde Oost-Indische Compagnie betaalden, werden ze eigenaar van hun landbouwgrond. De nederige kolonie breidde zich uit van de Wallabout tot de stad Brooklyn.
Wallabout Bay was de plaats van een van de vroegste moordprocessen in de geschiedenis van Brooklyn. Op 5 juni 1665 werd Barent Jansen Blom, een immigrant uit Zweden en stamvader van de Blom/Bloom familie van Brooklyn en de lagere Hudson Valley, doodgestoken door Albert Cornelis Wantenaer, zogenaamd uit zelfverdediging. Wantenaer werd op 2 oktober 1665 voor moord berecht in het Hof van Assisen. Hij werd veroordeeld voor een mindere aanklacht van doodslag en kreeg als straf het verlies van zijn eigendom en een jaar gevangenisstraf.
In het gebied meerden tijdens de Amerikaanse Revolutionaire Oorlog van ongeveer 1776-1783 Britse gevangenisschepen aan, waarvan de beruchtste de HMS Jersey was. Ongeveer 12.000 krijgsgevangenen zouden gestorven zijn in 1783, toen alle overgebleven gevangenen werden vrijgelaten. Velen stierven door verwaarlozing; sommigen werden op de eroderende kust begraven in ondiepe graven, of vaak gewoon overboord gegooid. Het Prison Ship Martyrs’ Monument in het nabijgelegen Fort Greene, waar een deel van de stoffelijke resten van de gevangenen ligt, werd gebouwd om deze slachtoffers te eren.