В общем x64 систему настроить не удалось, в составе УТМ есть 32 разрядные библиотеки, хотя пакет вроде как x64. Возможно пройдет вариант с 32 разрядной jre, не проверял.
Поставил x86 ubuntu 16.04 и все завелось по этой инструкции без проблем. Единственной что, перед всеми установками надо поставить эти пакеты: pcscd libccid libpcsclite1
Теперь в логах есть кое-какие ошибки, не знаю насколько они критичны:
monitor.log
2016-07-12 16:23:25,868 ERROR es.programador.transport.monitoring.d - Ошибка отправки на сервер [127.0.0.1]
java.net.MalformedURLException: no protocol: 127.0.0.1
тут видимо можно поднять сервер мониторинга УТМ и прописать его в конфиге и будет мониторить
В остальном УТМ работает без проблем.