Wallabout byl poprvé osídlen Evropany, když se zde počátkem 30. let 16. století rozhodlo koupit půdu několik rodin francouzsky mluvících Valonů, kteří do Nového Nizozemí přišli v předchozím desetiletí z Holandska. Osídlování oblasti začalo v polovině 30. let 16. století, kdy Joris Jansen Rapelje vyměnil obchodní zboží s indiány kmene Canarsee za přibližně 335 akrů (1,36 km2) půdy v zátoce Wallabout, ale Rapelje, stejně jako ostatní první osadníci Wallaboutu, čekal nejméně deset let, než se do oblasti přestěhoval na plný úvazek, dokud se nevyřešily konflikty s kmeny.
Většina historických zpráv uvádí Rapeljeho dům jako první dům postavený v zátoce Wallabout. Jeho dcera Sarah byla prvním dítětem narozeným v Novém Nizozemí z evropského rodu a Rapelje později působil jako brooklynský soudce a také jako člen Rady dvanácti mužů. Rapeljeho zeť Hans Hansen Bergen vlastnil velký pozemek sousedící s Rapeljeho pozemkem. Nedaleko se nacházely tabákové plantáže patřící Janu a Pieteru Monfortovým, Peteru Caesaru Albertovi a dalším farmářům.
Od roku 1637 sloužil Wallabout jako místo přistání prvního přívozu přes East River z dolního Manhattanu. Cornelis Dircksen, osamělý převozník, obhospodařoval pozemky na obou březích – poblíž místa, kde se dnes klene Brooklynský most, aby co nejlépe využil svůj čas na obou březích řeky.
V roce 1638 byl pozastaven feudální systém držby půdy a malá osada se stala kolonií svobodných vlastníků: po desetiletém období, kdy platili holandské Východoindické společnosti desetinu výnosu, měli kolonisté vlastnit svou zemědělskou půdu. Skromná kolonie se z Wallaboutu rozrostla a stala se městem Brooklyn.
Wallabout Bay byl místem jednoho z prvních procesů s vrahy v dějinách Brooklynu. Dne 5. června 1665 byl Barent Jansen Blom, přistěhovalec ze Švédska a předek rodiny Blom/Bloom z Brooklynu a dolního Hudson Valley, ubodán k smrti Albertem Cornelisem Wantenaerem, údajně v sebeobraně. Wantenaer byl 2. října 1665 souzen za vraždu u smírčího soudu. Byl odsouzen za mírnější obvinění z neúmyslného zabití a byl mu uložen trest ztráty majetku a roční vězení.
V této oblasti kotvily během americké revoluční války přibližně v letech 1776-1783 britské zajatecké lodě, z nichž nejznámější byla HMS Jersey. Do roku 1783, kdy byli všichni zbývající vězni propuštěni, zde údajně zemřelo asi 12 000 válečných zajatců. Mnoho z nich zemřelo v důsledku zanedbání péče; někteří byli pohřbeni na erodujícím pobřeží v mělkých hrobech nebo často jednoduše hozeni přes palubu. Na počest těchto obětí byl postaven Památník mučedníků z vězeňských lodí v nedalekém Fort Greene, kde jsou uloženy některé ostatky zajatců.