Baia Wallabout a fost colonizată pentru prima dată de europeni atunci când mai multe familii de valoni francofoni au optat să cumpere terenuri acolo la începutul anilor 1630, după ce au sosit în New Netherland în deceniul anterior din Olanda. Colonizarea zonei a început la mijlocul anilor 1630, când Joris Jansen Rapelje a făcut un schimb de bunuri comerciale cu indienii Canarsee pentru aproximativ 335 de acri (1,36 km2) de teren în Golful Wallabout, dar Rapelje, ca și alți coloniști Wallabout timpurii, a așteptat cel puțin un deceniu înainte de a se muta cu normă întreagă în zonă, până când conflictele cu triburile au fost rezolvate.
Majoritatea relatărilor istorice plasează casa lui Rapelje ca fiind prima casă construită în Golful Wallabout. Fiica sa, Sarah, a fost primul copil născut din părinți europeni în New Netherland, iar Rapelje a servit mai târziu ca magistrat în Brooklyn, precum și ca membru al Consiliului celor Doisprezece Oameni. Ginerele lui Rapelje, Hans Hansen Bergen, a deținut un teren mare învecinat cu cel al lui Rapelje. În apropiere se aflau plantații de tutun aparținând lui Jan și Pieter Monfort, lui Peter Caesar Alberto și altor fermieri.
Începând cu anul 1637, Wallabout a servit ca loc de debarcare a primului feribot care a traversat East River din Manhattanul inferior. Cornelis Dircksen, singurul feribot, a cultivat parcele pe ambele maluri – aproape de locul unde se întinde acum Podul Brooklyn – pentru a-și folosi cât mai bine timpul pe ambele maluri ale râului.
Un sistem feudal de proprietate funciară a fost suspendat în 1638, iar mica așezare a devenit o colonie de proprietari liberi: după o perioadă de zece ani în care au plătit Companiei Olandeze a Indiilor de Est o zecime din producția lor, coloniștii urmau să fie proprietarii terenurilor lor agricole. Umila colonie s-a extins de la Wallabout și a devenit orașul Brooklyn.
Wallabout Bay a fost locul unuia dintre primele procese de crimă din istoria Brooklyn-ului. La 5 iunie 1665, Barent Jansen Blom, un imigrant din Suedia și progenitor al familiei Blom/Bloom din Brooklyn și din valea inferioară a Hudsonului, a fost înjunghiat mortal de Albert Cornelis Wantenaer, se presupune că în legitimă apărare. Wantenaer a fost judecat pentru crimă la Curtea de Assize la 2 octombrie 1665. El a fost condamnat pentru o acuzație mai mică de omor prin imprudență, suferind pedeapsa de pierdere a proprietății sale și un an de închisoare.
Zona a fost locul unde au acostat navele-închisoare britanice în timpul Războiului Revoluționar American, între aproximativ 1776-1783, dintre care cea mai infamă a fost HMS Jersey. Se spune că aproximativ 12.000 de prizonieri de război ar fi murit până în 1783, când toți prizonierii rămași au fost eliberați. Mulți au murit din cauza neglijenței; unii au fost îngropați pe țărmul care se erodează, în morminte puțin adânci, sau de multe ori au fost pur și simplu aruncați peste bord. Monumentul martirilor navelor-închisoare din Fort Greene din apropiere, care adăpostește unele dintre rămășițele prizonierilor, a fost construit pentru a onora aceste victime.
.