O Wallabout foi estabelecido pela primeira vez por europeus quando várias famílias de valões francófonos optaram por comprar ali terras no início dos anos 1630, tendo chegado à Nova Holanda na década anterior, vindos da Holanda. A colonização da área começou em meados dos anos 1630, quando Joris Jansen Rapelje trocou bens comerciais com os índios Canarsee por cerca de 335 acres (1,36 km2) de terra em Wallabout Bay, mas Rapelje, como outros colonos Wallabout, esperou pelo menos uma década antes de se mudar a tempo inteiro para a área, até que os conflitos com as tribos fossem resolvidos.
Os relatos mais históricos colocam a casa de Rapelje como a primeira casa construída em Wallabout Bay. A sua filha Sarah foi a primeira criança nascida de ascendência europeia em New Netherland, e Rapelje serviu mais tarde como magistrado de Brooklyn, bem como membro do Conselho dos Doze Homens. O genro de Rapelje, Hans Hansen Bergen, possuía um grande trato adjacente ao de Rapelje. Nas proximidades estavam plantações de tabaco pertencentes a Jan e Pieter Monfort, Peter Caesar Alberto, e outros agricultores.
Com início em 1637, o Wallabout serviu como local de desembarque da primeira balsa que atravessava o rio East desde a baixa Manhattan. Cornelis Dircksen, o solitário barqueiro, cultivava parcelas em ambos os lados – até onde a ponte do Brooklyn agora se estende – para melhor empregar seu tempo em qualquer margem do rio.
Um sistema feudal de posse de terra foi suspenso em 1638, e o pequeno assentamento tornou-se uma colônia de proprietários livres: após um período de dez anos pagando à Companhia Holandesa das Índias Orientais um décimo de sua produção, os colonos seriam donos de suas terras agrícolas. A humilde colónia expandiu-se do Wallabout para se tornar a cidade de Brooklyn.
Wallabout Bay foi o local de um dos primeiros julgamentos por homicídio na história do Brooklyn. Em 5 de junho de 1665, Barent Jansen Blom, um imigrante da Suécia e progenitor da família Blom/Bloom do Brooklyn e do baixo Vale Hudson, foi esfaqueado até a morte por Albert Cornelis Wantenaer, alegadamente em autodefesa. Wantenaer foi julgado por homicídio no Tribunal de Assis no dia 2 de Outubro de 1665. Ele foi condenado por uma menor acusação de homicídio involuntário, sofrendo a punição da perda dos seus bens e um ano de prisão.
A área foi o local onde os navios prisionais britânicos atracaram durante a Guerra Revolucionária Americana de cerca de 1776-1783, o mais infame dos quais foi HMS Jersey. Cerca de 12.000 prisioneiros de guerra teriam morrido até 1783, quando todos os prisioneiros restantes foram libertados. Muitos morreram por negligência; alguns foram enterrados na costa em erosão, em sepulturas rasas, ou muitas vezes simplesmente atirados borda fora. O Monumento aos Mártires do Navio Prisional no Forte Greene, que abriga alguns dos restos mortais dos prisioneiros, foi construído para honrar estas baixas.