Eurooppalaiset asuttivat Wallaboutin ensimmäisen kerran, kun useat ranskankieliset valloniperheet päättivät ostaa sieltä maata 1630-luvun alkupuolella, kun he olivat edellisellä vuosikymmenellä saapuneet Hollannista New Netherlandiin. Alueen asuttaminen alkoi 1630-luvun puolivälissä, kun Joris Jansen Rapelje vaihtoi kauppatavaroita Canarsee-intiaanien kanssa noin 335 hehtaaria (1,36 km2) maata Wallaboutin lahdella, mutta Rapelje, kuten muutkin Wallaboutin varhaiset uudisasukkaat, odotti ainakin vuosikymmenen, ennen kuin hän muutti täysipainoisesti alueelle, kunnes konfliktit heimojen kanssa oli ratkaistu.
Useimmissa historiallisissa selostuksissa Rapeljen talo mainitaan ensimmäisenä talona, joka rakennettiin Wallaboutin lahdelle. Hänen tyttärensä Sarah oli ensimmäinen eurooppalaista syntyperää oleva lapsi New Netherlandissa, ja Rapelje toimi myöhemmin Brooklynin tuomarina sekä kahdentoista miehen neuvoston jäsenenä. Rapeljen vävy Hans Hansen Bergen omisti Rapeljen tilaan rajoittuvan suuren maa-alueen. Lähistöllä oli Jan ja Pieter Monfortin, Peter Caesar Alberton ja muiden maanviljelijöiden tupakkaviljelmiä.
Alkaen vuodesta 1637 Wallabout toimi ensimmäisen East Riverin ylittäneen lautan rantautumispaikkana Manhattanin alaosasta. Cornelis Dircksen, yksinäinen lauttamies, viljeli palstoja molemmilla puolilla – lähellä sitä kohtaa, jonka Brooklynin silta nykyään katkaisee – hyödyntääkseen parhaiten aikaansa joen kummallakin rannalla.
Feodaalinen maanomistusjärjestelmä lakkautettiin vuonna 1638, ja pienestä siirtokunnasta tuli vapaaherrojen siirtokunta: sen jälkeen, kun siirtokuntalaiset olivat maksaneet Alankomaiden Itä-Intian komppanialle kymmenesosaa tuotostaan, siirtokuntalaiset saivat omistukseensa viljelysmaansa kymmenen vuoden ajan. Vaatimattomasta siirtokunnasta laajeni Wallaboutista Brooklynin kaupunki.
Wallabout Bayssä käytiin yksi Brooklynin historian varhaisimmista murhaoikeudenkäynneistä. Kesäkuun 5. päivänä 1665 Albert Cornelis Wantenaer puukotti Albert Jansen Blomin, Ruotsista tulleen siirtolaisen ja Brooklynin ja Hudsonin laakson alajuoksun Blom/Bloom-suvun kantaisän, kuoliaaksi väitetysti itsepuolustukseksi. Wantenaeria syytettiin murhasta Assize-tuomioistuimessa 2. lokakuuta 1665. Hänet tuomittiin lievemmästä syytteestä taposta, ja hän kärsi rangaistukseksi omaisuutensa menettämisen ja vuoden vankeusrangaistuksen.
Alueella kiinnittyi Yhdysvaltain vapaussodan aikana noin vuosina 1776-1783 brittiläisiä vankila-aluksia, joista pahamaineisin oli HMS Jersey. Noin 12 000 sotavangin sanotaan kuolleen vuoteen 1783 mennessä, jolloin kaikki jäljellä olevat vangit vapautettiin. Monet kuolivat laiminlyönnin vuoksi; jotkut haudattiin erodoituvaan rantaan mataliin hautoihin, tai usein heidät yksinkertaisesti heitettiin yli laidan. Läheisessä Fort Greenen kaupungissa sijaitseva Prison Ship Martyrs’ Monument (Vankilaivojen marttyyrien muistomerkki), jossa säilytetään joitakin vankien jäännöksiä, on rakennettu näiden uhrien kunniaksi.