Еще одно место, на которое стоит обратить внимание, - это "lsof" помимо выгрузки зависимых модулей.
# lsof | grep < соответствующая строка для модуля >
Здесь должен быть список файлов, которые открываются с помощью модуля. Попробуйте убить те процессы, которые открыли файлы, и проверьте, что количество ссылок на модуль уменьшается из-за "lsmod" команда.