デフォだとMAX256M
起動オプションに
-J-Xmx***m -J-Xms***m
-Jがいるのがポイント
と思ったらNetBeansのインストールフォルダのetc\netbeans.confに以下のような記述があるので、そこを書き換えればOKみたいだ。
netbeans_default_options="-J-Xms32m -J-Xmx256m -J-XX:PermSize=32m -J-XX:MaxPermSize=160m -J-Xverify:none -J-Dapple.laf.useScreenMenuBar=true"