У меня большая музыкальная коллекция, и там есть несколько дубликатов. Есть ли какой-нибудь способ найти дубликаты файлов? Как минимум, выполнив хэш и проверив, имеют ли два файла одинаковый хэш.
Бонусные баллы за то, что вы также находите файлы с таким же именем, кроме расширения - я думаю, что у меня есть несколько песен как в формате mp3, так и в формате ogg.
Я с удовольствием использую командную строку, если это самый простой способ.
Я использую fdupes за это. Это программа командной строки, которая может быть установлена из репозиториев с sudo apt install fdupes. Вы можете назвать это так fdupes -r /dir/ect/ory и он распечатает список обманутых. fdupes также имеет простая домашняя страница и в Статья в Википедии, в котором перечислены еще несколько программ.
FSlint имеет графический интерфейс и некоторые другие функции. Объяснение алгоритма проверки дубликатов из их часто задаваемых вопросов:
1. exclude files with unique lengths2. handle files that are hardlinked to each other3. exclude files with unique md5(first_4k(file))4. exclude files with unique md5(whole file)5. exclude files with unique sha1(whole file) (in case of md5 collisions).Список из programs/scripts/bash-solutions, который может находить дубликаты и работать под nix:
rmlint-gui пакет с графическим интерфейсом (может быть запущен с помощью rmlint --gui или из настольного лаунчера с именем Измельчитель Для поиска дубликатов)Если ваша задача дедупликации связана с музыкой, сначала запустите пикард приложение для правильной идентификации и пометки вашей музыки (чтобы вы могли находить дубликаты файлов .mp3 /.ogg, даже если их имена неверны). Обратите внимание, что picard также доступен в виде пакета Ubuntu.
Это сделано на основе musicip_puid по тегу вы можете легко найти все ваши повторяющиеся песни.
Другой сценарий, который выполняет эту работу, - это rmdupe. Со страницы автора:
rmdupe использует стандартные команды Linux для поиска дубликатов файлов в указанных папках, независимо от имени файла или расширения. Перед удалением повторяющихся кандидатов они сравниваются байт за байтом. rmdupe также может проверять дубликаты в одной или нескольких ссылочных папках, может удалять файлы в корзину вместо их удаления, позволяет использовать пользовательскую команду удаления и может ограничить поиск файлами указанного размера. rmdupe включает режим моделирования, который сообщает, что будет сделано для данной команды, фактически не удаляя никаких файлов.
Я использую компаратор - sudo apt-get install komparator (Ubuntu 10.04+ ) - как графический интерфейс-инструмент для поиска дубликатов в ручном режиме.
Для идентификации и удаления дубликатов, связанных с музыкой, Picard и Jaikoz по http://musicbrainz.org/ это лучшее решение. Jaikoz, я полагаю, автоматически помечает вашу музыку на основе данных файла песни. Вам даже не нужно название песни, чтобы она идентифицировала песню и присвоила ей все метаданные. Хотя бесплатная версия может отмечать только ограниченное количество песен за один прогон, но вы можете запускать ее столько раз, сколько захотите.
Вы пробовали
finddupили
finddup -lЯ думаю, это прекрасно работает.
дупеГуру имеет специальный режим для воспроизведения музыки. Это кроссплатформенная программа с графическим интерфейсом, и по состоянию на сегодняшний день (февраль 2021 года) она находится в активном развитие, хотя неясно, какие релизы работают на каких системах. Проверьте его документация.