だいたい Vim の conceal 機能がクソなのが原因なのですが、vimshell では Vim の conceal を使って標準出力のハイライトを行っています。
しかし、conceal を使うと色々と副作用(カーソル移動が conceal を考慮されなかったり、や折り返しがおかしくなったり)があるので無効にしたかった。
[解決]
次の設定を追加すればよいみたい。
let g:vimshell_disable_escape_highlight = 1
これでハイライトはされなくなりすっきり。
Vim の conceal は便利ではあるんですが、仕様がクソなのでつらい…。