set formatoptions+=j と、いうように 'formatoptions' に j を追加すると J で行結合する際にコメントリーダーを削除して結合されます。 これは例えば、 # aaa # bbb というコメントを結合した場合に # aaa bbb と、いう風に結合されます。