Как я могу открыть файл .dmg?

Чтобы извлечь его, гораздо проще использовать 7zip:

7z x file.dmg