El Wallabout fue colonizado por primera vez por europeos cuando varias familias de valones francófonos optaron por comprar tierras allí a principios de la década de 1630, tras haber llegado a los Nuevos Países Bajos en la década anterior desde Holanda. El asentamiento de la zona comenzó a mediados de la década de 1630, cuando Joris Jansen Rapelje intercambió bienes comerciales con los indios Canarsee por unos 335 acres (1,36 km2) de tierra en la bahía de Wallabout, pero Rapelje, al igual que otros de los primeros colonos de Wallabout, esperó al menos una década antes de trasladarse a tiempo completo a la zona, hasta que se resolvieron los conflictos con las tribus.
La mayoría de los relatos históricos sitúan la casa de Rapelje como la primera casa construida en la bahía de Wallabout. Su hija Sarah fue la primera niña nacida de padres europeos en Nueva Holanda, y Rapelje sirvió más tarde como magistrado de Brooklyn, así como miembro del Consejo de los Doce Hombres. El yerno de Rapelje, Hans Hansen Bergen, poseía una gran extensión contigua a la de Rapelje. En las cercanías había plantaciones de tabaco pertenecientes a Jan y Pieter Monfort, Peter Caesar Alberto y otros agricultores.
A partir de 1637, Wallabout sirvió como lugar de desembarco del primer ferry que cruzaba el East River desde el bajo Manhattan. Cornelis Dircksen, el único barquero, cultivaba parcelas a ambos lados -cerca de donde ahora se extiende el puente de Brooklyn- para aprovechar mejor su tiempo en ambas orillas del río.
En 1638 se suspendió el sistema feudal de tenencia de la tierra, y el pequeño asentamiento se convirtió en una colonia de propietarios libres: tras un periodo de diez años en el que se pagaba a la Compañía Holandesa de las Indias Orientales una décima parte de su rendimiento, los colonos eran propietarios de sus tierras de cultivo. La humilde colonia se expandió desde Wallabout hasta convertirse en la ciudad de Brooklyn.
La bahía de Wallabout fue el escenario de uno de los primeros juicios por asesinato de la historia de Brooklyn. El 5 de junio de 1665, Barent Jansen Blom, un inmigrante de Suecia y progenitor de la familia Blom/Bloom de Brooklyn y del bajo valle del Hudson, fue apuñalado hasta la muerte por Albert Cornelis Wantenaer, supuestamente en defensa propia. Wantenaer fue juzgado por asesinato en el Tribunal de la Audiencia el 2 de octubre de 1665. Fue condenado por un cargo menor de homicidio, sufriendo el castigo de la pérdida de su propiedad y un año de prisión.
La zona fue el lugar donde atracaron los barcos-prisión británicos durante la Guerra de la Independencia Americana, entre 1776 y 1783, el más infame de los cuales fue el HMS Jersey. Se dice que alrededor de 12.000 prisioneros de guerra murieron en 1783, cuando todos los prisioneros restantes fueron liberados. Muchos murieron por negligencia; algunos fueron enterrados en la erosionada orilla en tumbas poco profundas, o a menudo simplemente arrojados por la borda. El Monumento a los Mártires del Barco Prisión, situado en el cercano Fort Greene, que alberga algunos de los restos de los prisioneros, se construyó en honor a estas víctimas.