一時的に*1C-hに前1文字削除に割り当てる。
'C-x b *scratch*'で移動してから、

(define-key global-map "^H" 'backward-delete-char)

*2って、入力して、'C-j'で、できた。
'delete'を押したら、Helpが出ちゃうとこでやれば、'delete'で消せる、とか、そんなとこです。

*1:そのEmacsを終了するまで有効。

*2:'^H'は、'C-q C-h'で入力。