Я думаю, что это дает результат, который вы ищете:
ls -1 !(temp)
Вероятно, вам нужно shopt -s extglob чтобы это сработало (У меня он включен, так что, наверное, когда-то в далеком прошлом я счел его полезным и включил).
Я думаю, вы также могли бы использовать grep для фильтрации выходных данных:
ls -1 | grep -v '^temp$'
Использование канала и фильтров обеспечивает гораздо большую гибкость и навыки, которые можно перенести на другие команды / ситуации, хотя в данном конкретном случае это может вас не заинтересовать.