Il Wallabout fu colonizzato per la prima volta dagli europei quando diverse famiglie di Valloni di lingua francese optarono per l’acquisto di terra lì nei primi anni 1630, essendo arrivati in Nuova Olanda nel decennio precedente dall’Olanda. La colonizzazione dell’area iniziò a metà del 1630 quando Joris Jansen Rapelje scambiò beni commerciali con gli indiani Canarsee per circa 335 acri (1,36 km2) di terra a Wallabout Bay, ma Rapelje, come altri primi coloni Wallabout, aspettò almeno un decennio prima di trasferirsi a tempo pieno nell’area, fino a quando i conflitti con le tribù fossero stati risolti.
La maggior parte dei conti storici pone la casa di Rapelje come la prima casa costruita a Wallabout Bay. Sua figlia Sarah fu la prima bambina nata da genitori europei nella Nuova Olanda, e Rapelje in seguito servì come magistrato di Brooklyn e come membro del Consiglio dei Dodici Uomini. Il genero di Rapelje, Hans Hansen Bergen, possedeva un grande terreno adiacente a quello di Rapelje. Nelle vicinanze c’erano piantagioni di tabacco appartenenti a Jan e Pieter Monfort, Peter Caesar Alberto, e altri agricoltori.
A partire dal 1637, il Wallabout servì come luogo di sbarco del primo traghetto attraverso l’East River da Lower Manhattan. Cornelis Dircksen, il solitario traghettatore, coltivava appezzamenti su entrambi i lati, vicino a dove ora si trova il ponte di Brooklyn, per impiegare al meglio il suo tempo su entrambe le rive del fiume.
Un sistema feudale di proprietà della terra fu sospeso nel 1638, e il piccolo insediamento divenne una colonia di liberi proprietari: dopo un periodo di dieci anni di pagamento alla Compagnia olandese delle Indie orientali di un decimo del loro raccolto, i coloni sarebbero stati proprietari dei loro terreni agricoli. L’umile colonia si espanse dal Wallabout fino a diventare la città di Brooklyn.
Wallabout Bay fu il luogo di uno dei primi processi per omicidio nella storia di Brooklyn. Il 5 giugno 1665, Barent Jansen Blom, un immigrato dalla Svezia e progenitore della famiglia Blom/Bloom di Brooklyn e della bassa valle dell’Hudson, fu pugnalato a morte da Albert Cornelis Wantenaer, presumibilmente per autodifesa. Wantenaer fu processato per omicidio nella Corte d’Assise il 2 ottobre 1665. Fu condannato per un’accusa minore di omicidio colposo, subendo la punizione della perdita dei suoi beni e un anno di reclusione.
L’area fu il luogo dove ormeggiarono le navi prigione britanniche durante la guerra rivoluzionaria americana dal 1776 al 1783 circa, la più famigerata delle quali fu la HMS Jersey. Si dice che circa 12.000 prigionieri di guerra siano morti entro il 1783, quando tutti i prigionieri rimasti furono liberati. Molti morirono a causa dell’incuria; alcuni furono sepolti sulla riva erosa in tombe poco profonde, o spesso semplicemente gettati in mare. Il Prison Ship Martyrs’ Monument nella vicina Fort Greene, che ospita alcuni dei resti dei prigionieri, fu costruito per onorare queste vittime.