Kritikere, heriblandt foreningen Fiskerhavnens Venner og Danmarks Naturfredningsforening, frygter, at byggeriet vil ødelægge miljøet omkring Fiskerihavnen, hvor byens sidste bundgarnsfiskere stadig driver erhverv, hvor deres net hænger til tørre, og hvor selvbyggede huse fra 1940'erne dominerer.