Я предполагаю, что вашей основной операционной системой является Mac OS X, и вы установили Ubuntu в качестве гостевой операционной системы.
Нет необходимости монтировать ISO-файл гостевых дополнений и устанавливать его с него, если ваша гостевая ОС - Ubuntu.
Вместо этого откройте терминал и введите следующее -
sudo apt-get install virtualbox-guest-utilsЭто приведет к установке гостевых дополнений и более или менее эквивалентно установке через ISO.