В GIMP слои могут либо иметь альфа-канал, либо не иметь альфа-канала. Когда вы пытаетесь стереть части изображения, когда нет альфа-канала, вы получаете фоновый цвет.
Чтобы добавить альфа-канал, вы можете вызвать диалоговое окно Слоев, нажав Ctrl+L, щелкните правой кнопкой мыши на слое, который вы хотите отредактировать, и выберите Добавить Альфа-канал там.
Оттуда все очень похоже на Photoshop - т.е. инструмент Eraser стирает до прозрачности, вы можете сделать выделение (используя, например, инструмент Magic Wand) и стереть все в нем, нажав Del и т.д.