Wallabout blev først bosat af europæere, da flere familier af fransktalende walloner valgte at købe jord der i begyndelsen af 1630’erne, efter at de var ankommet til New Netherland i det foregående årti fra Holland. Bosættelsen i området begyndte i midten af 1630’erne, da Joris Jansen Rapelje udvekslede handelsvarer med Canarsee-indianerne mod ca. 335 acres (1,36 km2) jord ved Wallabout Bay, men Rapelje ventede, ligesom andre tidlige Wallabout-sættere, mindst et årti med at flytte på fuld tid til området, indtil konflikterne med stammerne var blevet løst.
De fleste historiske beretninger angiver Rapeljes hus som det første hus, der blev bygget ved Wallabout Bay. Hans datter Sarah var det første barn, der blev født af europæisk afstamning i New Netherland, og Rapelje fungerede senere som Brooklyn-magistrat samt som medlem af Council of Twelve Men. Rapeljes svigersøn Hans Hansen Bergen ejede en stor jordlod, der lå ved siden af Rapeljes jordlod. I nærheden var der tobaksplantager tilhørende Jan og Pieter Monfort, Peter Caesar Alberto og andre landmænd.
Den første færge over East River fra det nedre Manhattan gik i land i 1637 ved Wallabout Bay. Cornelis Dircksen, den enlige færgemand, dyrkede jordlodder på begge sider – tæt på det sted, hvor Brooklyn Bridge nu spænder over – for at udnytte sin tid bedst muligt på begge flodbredder.
Et feudalt jordbesiddelsessystem blev ophævet i 1638, og den lille bosættelse blev en koloni af frie ejere: efter en tiårig periode, hvor de skulle betale en tiendedel af deres udbytte til det hollandske Ostindiske Kompagni, ville kolonisterne eje deres landbrugsjord. Den ydmyge koloni udvidede sig ud fra Wallabout og blev til byen Brooklyn.
Wallabout Bay var stedet for en af de tidligste mordretssager i Brooklyns historie. Den 5. juni 1665 blev Barent Jansen Blom, en indvandrer fra Sverige og stamfader til Blom/Bloom-familien i Brooklyn og den nedre Hudson Valley, stukket ihjel af Albert Cornelis Wantenaer, angiveligt i selvforsvar. Wantenaer blev stillet for retten for mord den 2. oktober 1665. Han blev dømt for en mindre alvorlig anklage for manddrab og fik som straf tab af sin ejendom og et års fængsel.
Området var stedet, hvor britiske fængselsskibe lagde til kaj under den amerikanske revolutionskrig fra ca. 1776-1783, hvoraf det mest berygtede var HMS Jersey. Omkring 12.000 krigsfanger siges at være døde i 1783, da alle de resterende fanger blev befriet. Mange døde på grund af vanrøgt; nogle blev begravet på den eroderende kyst i lavvandede grave, eller ofte blev de simpelthen smidt over bord. Prison Ship Martyrs’ Monument i det nærliggende Fort Greene, som huser nogle af fangernes jordiske rester, blev bygget til ære for disse ofre.