The Wallabout został po raz pierwszy zasiedlony przez Europejczyków, kiedy kilka rodzin francuskojęzycznych Walonów zdecydował się na zakup ziemi tam na początku 1630s, po przybyciu do Nowej Holandii w poprzedniej dekadzie z Holandii. Osadnictwo na tym obszarze rozpoczęło się w połowie 1630 roku, kiedy Joris Jansen Rapelje wymienił towary handlowe z Indianami Canarsee na około 335 akrów (1,36 km2) ziemi w Wallabout Bay, ale Rapelje, podobnie jak inni pierwsi osadnicy z Wallabout, czekał co najmniej dekadę przed przeniesieniem w pełnym wymiarze czasu do obszaru, dopóki konflikty z plemionami nie zostały rozwiązane.
Większość historycznych relacji umieścić dom Rapelje jako pierwszy dom zbudowany w Wallabout Bay. Jego córka Sarah była pierwszym dzieckiem urodzonym z europejskiego pochodzenia w Nowej Holandii, a Rapelje służył później jako sędzia w Brooklynie, a także członek Rady Dwunastu Mężczyzn. Zięć Rapeljego, Hans Hansen Bergen, posiadał dużą działkę sąsiadującą z posiadłością Rapeljego. W pobliżu znajdowały się plantacje tytoniu należące do Jana i Pietera Monfortów, Petera Caesara Alberto i innych farmerów.
Począwszy od 1637 roku, Wallabout służyła jako miejsce lądowania pierwszego promu przez East River z dolnego Manhattanu. Cornelis Dircksen, samotny przewoźnik, uprawiał działki po obu stronach – w pobliżu miejsca, gdzie obecnie znajduje się Most Brookliński – aby jak najlepiej wykorzystać swój czas na obu brzegach rzeki.
Feudalny system własności ziemi został zawieszony w 1638 r., a mała osada stała się kolonią wolnych posiadaczy: po dziesięcioletnim okresie płacenia Holenderskiej Kompanii Wschodnioindyjskiej dziesiątej części swoich plonów, koloniści stali się właścicielami swoich ziem uprawnych. Skromna kolonia rozrosła się od Wallabout i stała się miastem Brooklyn.
Wallabout Bay była miejscem jednego z najwcześniejszych procesów o morderstwo w historii Brooklynu. 5 czerwca 1665 r. Barent Jansen Blom, imigrant ze Szwecji i przodek rodziny Blom/Bloom z Brooklynu i dolnej doliny Hudson, został zadźgany na śmierć przez Alberta Cornelisa Wantenaera, rzekomo w samoobronie. Wantenaer był sądzony za morderstwo przed sądem przysięgłych 2 października 1665 roku. Został skazany za nieumyślne spowodowanie śmierci, ponosząc karę utraty majątku i rok więzienia.
Obszar ten był miejscem, w którym brytyjskie statki więzienne cumowały podczas amerykańskiej wojny rewolucyjnej od około 1776-1783 roku, z których najbardziej niesławnym był HMS Jersey. Około 12.000 jeńców wojennych zmarło do 1783 roku, kiedy to wszyscy pozostali więźniowie zostali uwolnieni. Wielu z nich zmarło z powodu zaniedbania; niektórzy zostali pochowani na erodującym brzegu w płytkich grobach lub często po prostu wyrzuceni za burtę. Pomnik Męczenników Statków Więziennych w pobliskim Fort Greene, w którym znajdują się szczątki jeńców, został zbudowany ku czci tych ofiar.