Порт 3306, похоже, закрыт на моем сервере Ubuntu

Проблема заключалась в том, что сервер прослушивал только внутренне.

Удаление линии bind-address 127.0.0.1 от /etc/mysql/my.cnf решил проблему.

Более новые версии Ubuntu (≥16.04) могут содержать эту строку в /etc/mysql/mysql.conf.d/mysqld.cnf.