Выводить из домена админы не стали.
В общем победил я все эти бяки.
Во первых поменял значения в sqlnet.ora, было то, что выкладывал выше, сделал, то, что было с самого начала установки оракла, взял из бекапа
# This file is actually generated by netca. But if customers choose to
# install "Software Only", this file wont exist and without the native
# authentication, they will not be able to connect to the database on NT.
SQLNET.AUTHENTICATION_SERVICES = (NTS)
Пересоздал листенер, HOME = локальная машина, а не доменная и сделал запуск службы от доменной учетки, так же запуск службы БД сделал тоже от доменной учетки и не помню уже что еще поправил, теперь connect /as sysdba работает.