Wallabout beboddes för första gången av européer när flera familjer med fransktalande valloner valde att köpa mark där i början av 1630-talet, efter att ha anlänt till Nya Nederländerna under det föregående decenniet från Holland. Bosättningen i området började i mitten av 1630-talet när Joris Jansen Rapelje bytte handelsvaror med Canarsee-indianerna mot cirka 1,36 km2 mark vid Wallabout Bay, men Rapelje, liksom andra tidiga bosättare i Wallabout, väntade minst ett decennium innan han flyttade till området på heltid, tills konflikter med stammarna hade lösts.
De flesta historiska redogörelser anger Rapeljes hus som det första huset som byggdes vid Wallabout Bay. Hans dotter Sarah var det första barnet som föddes av europeiskt ursprung i Nya Nederländerna, och Rapelje tjänstgjorde senare som domare i Brooklyn samt som medlem av Council of Twelve Men. Rapeljes svärson Hans Hansen Bergen ägde ett stort område i anslutning till Rapeljes. I närheten fanns tobaksodlingar som tillhörde Jan och Pieter Monfort, Peter Caesar Alberto och andra jordbrukare.
Från och med 1637 fungerade Wallabout som landningsplats för den första färjan över East River från nedre Manhattan. Cornelis Dircksen, den ensamme färjemannen, odlade tomter på båda sidor – nära den plats där Brooklyn Bridge nu sträcker sig – för att på bästa sätt utnyttja sin tid på båda sidor av floden.
Ett feodalt system för markinnehav upphävdes 1638 och den lilla bosättningen blev en koloni med fria ägare: efter en tioårsperiod då de betalade en tiondel av avkastningen till det holländska Ostindiska kompaniet skulle kolonisatörerna äga sin åkermark. Den enkla kolonin expanderade ut från Wallabout och blev staden Brooklyn.
Wallabout Bay var platsen för en av de tidigaste mordrättegångarna i Brooklyns historia. Den 5 juni 1665 knivhöggs Barent Jansen Blom, en invandrare från Sverige och stamfader till familjen Blom/Bloom i Brooklyn och nedre Hudson Valley, till döds av Albert Cornelis Wantenaer, enligt uppgift i självförsvar. Wantenaer ställdes inför rätta för mord i hovrätten den 2 oktober 1665. Han dömdes för en mindre allvarlig anklagelse om dråp och fick som straff förlust av sin egendom och ett års fängelse.
I området låg brittiska fängelseskepp förtöjda under det amerikanska frihetskriget från omkring 1776-1783, varav det mest ökända var HMS Jersey. Omkring 12 000 krigsfångar uppges ha dött fram till 1783, då alla återstående fångar frigavs. Många dog på grund av vanvård; en del begravdes på den eroderande stranden i grunda gravar eller kastades ofta helt enkelt överbord. Prison Ship Martyrs’ Monument i närbelägna Fort Greene, som rymmer några av fångarnas kvarlevor, byggdes för att hedra dessa offer.