La Wallabout a été colonisée pour la première fois par les Européens lorsque plusieurs familles de Wallons francophones ont choisi d’y acheter des terres au début des années 1630, après être arrivées de Hollande aux Nouveaux Pays-Bas au cours de la décennie précédente. La colonisation de la région a commencé au milieu des années 1630 lorsque Joris Jansen Rapelje a échangé des biens commerciaux avec les Indiens Canarsee contre quelque 335 acres (1,36 km2) de terres à Wallabout Bay, mais Rapelje, comme d’autres premiers colons wallabouts, a attendu au moins une décennie avant de s’installer à plein temps dans la région, jusqu’à ce que les conflits avec les tribus aient été résolus.
La plupart des récits historiques placent la maison de Rapelje comme la première maison construite à Wallabout Bay. Sa fille Sarah fut le premier enfant né de parents européens aux Nouveaux Pays-Bas, et Rapelje fut plus tard magistrat à Brooklyn ainsi que membre du Conseil des douze hommes. Le gendre de Rapelje, Hans Hansen Bergen, possédait un grand terrain attenant à celui de Rapelje. A proximité se trouvaient des plantations de tabac appartenant à Jan et Pieter Monfort, Peter Caesar Alberto, et d’autres agriculteurs.
Dès 1637, la Wallabout a servi de lieu d’accostage au premier ferry traversant l’East River depuis le bas de Manhattan. Cornelis Dircksen, le seul passeur, cultivait des parcelles sur les deux rives – près de l’endroit où s’étend aujourd’hui le pont de Brooklyn – afin d’employer au mieux son temps sur l’une ou l’autre rive du fleuve.
Un système féodal de propriété foncière a été suspendu en 1638, et la petite colonie est devenue une colonie de propriétaires libres : après une période de dix ans de paiement à la Compagnie néerlandaise des Indes orientales d’un dixième de leur rendement, les colons seraient propriétaires de leurs terres agricoles. L’humble colonie s’étendit à partir de la Wallabout pour devenir la ville de Brooklyn.
La baie de la Wallabout fut le lieu de l’un des premiers procès pour meurtre de l’histoire de Brooklyn. Le 5 juin 1665, Barent Jansen Blom, un immigrant de Suède et le géniteur de la famille Blom/Bloom de Brooklyn et de la vallée inférieure de l’Hudson, a été poignardé à mort par Albert Cornelis Wantenaer, prétendument en état de légitime défense. Wantenaer a été jugé pour meurtre devant la cour d’assises le 2 octobre 1665. Il a été reconnu coupable d’une accusation moins grave d’homicide involontaire, subissant la peine de la perte de ses biens et d’un an d’emprisonnement.
La région a été le site où les navires-prisons britanniques ont amarré pendant la guerre d’indépendance américaine d’environ 1776-1783, le plus tristement célèbre d’entre eux étant le HMS Jersey. Environ 12 000 prisonniers de guerre seraient morts en 1783, lorsque tous les prisonniers restants ont été libérés. Beaucoup sont morts par négligence ; certains ont été enterrés sur le rivage érodé dans des tombes peu profondes, ou souvent simplement jetés par-dessus bord. Le Prison Ship Martyrs’ Monument (monument aux martyrs des navires-prisons), situé à proximité de Fort Greene, qui abrite certaines des dépouilles des prisonniers, a été construit pour honorer ces victimes.