Der Wallabout wurde erstmals von Europäern besiedelt, als sich mehrere französischsprachige Wallonenfamilien in den frühen 1630er Jahren entschlossen, dort Land zu erwerben, nachdem sie im vorangegangenen Jahrzehnt aus Holland nach Neu-Niederlande gekommen waren. Die Besiedlung des Gebiets begann Mitte der 1630er Jahre, als Joris Jansen Rapelje Handelswaren mit den Canarsee-Indianern gegen etwa 1,36 km2 Land an der Wallabout Bay eintauschte. Rapelje wartete jedoch wie andere frühe Wallabout-Siedler mindestens ein Jahrzehnt, bis die Konflikte mit den Stämmen beigelegt waren.
In den meisten historischen Berichten wird Rapeljes Haus als das erste in der Wallabout Bay errichtete Haus bezeichnet. Seine Tochter Sarah war das erste Kind europäischer Abstammung in Neu-Niederlande, und Rapelje diente später als Richter in Brooklyn und als Mitglied des Rates der Zwölf Männer. Rapeljes Schwiegersohn Hans Hansen Bergen besaß ein großes Grundstück, das an Rapeljes Grundstück angrenzte. In der Nähe befanden sich Tabakplantagen, die Jan und Pieter Monfort, Peter Caesar Alberto und anderen Bauern gehörten.
Ab 1637 diente die Wallabout Bay als Anlegestelle für die erste Fähre, die von Lower Manhattan über den East River fuhr. Cornelis Dircksen, der einsame Fährmann, bewirtschaftete Grundstücke auf beiden Seiten – in der Nähe der heutigen Brooklyn Bridge -, um seine Zeit auf beiden Ufern des Flusses bestmöglich zu nutzen.
1638 wurde das feudale System des Landbesitzes aufgehoben, und die kleine Siedlung wurde zu einer Kolonie von Grundbesitzern: Nach einer zehnjährigen Frist, in der die Kolonisten der Niederländischen Ostindien-Kompanie ein Zehntel ihrer Erträge zahlten, wurden sie Eigentümer ihres Ackerlandes. Die bescheidene Kolonie dehnte sich von Wallabout aus und wurde zur Stadt Brooklyn.
Wallabout Bay war der Schauplatz eines der frühesten Mordprozesse in der Geschichte Brooklyns. Am 5. Juni 1665 wurde Barent Jansen Blom, ein Einwanderer aus Schweden und Stammvater der Familie Blom/Bloom in Brooklyn und im unteren Hudson Valley, von Albert Cornelis Wantenaer erstochen, angeblich in Notwehr. Wantenaer wurde am 2. Oktober 1665 vor dem Assize-Gericht wegen Mordes angeklagt. Er wurde wegen Totschlags verurteilt und erhielt als Strafe den Verlust seines Besitzes und ein Jahr Gefängnis.
Das Gebiet war der Ort, an dem während des Amerikanischen Revolutionskriegs von etwa 1776 bis 1783 britische Gefangenenschiffe anlegten, von denen die HMS Jersey das berüchtigtste war. Bis 1783, als alle verbliebenen Gefangenen freigelassen wurden, sollen rund 12.000 Kriegsgefangene gestorben sein. Viele starben aufgrund von Vernachlässigung; einige wurden an der erodierenden Küste in flachen Gräbern begraben oder oft einfach über Bord geworfen. Das Prison Ship Martyrs‘ Monument im nahe gelegenen Fort Greene, in dem einige der Überreste der Gefangenen ruhen, wurde zu Ehren dieser Opfer errichtet.