Ломают не систему, ломают тех, кто делает глупости на системе, увы.
Недостаточно частые обновления, выставление веб-интерфейсов для управления сервером наружу, отсутствие контроля за перебором паролей... Сознайтесь, что-то из этого и было на том сервере год назад? Unix тут не спасет, даже хуже будет, поскольку, как правило, куда медленнее обновляется или вообще за деньги. Что за сервер? Для чего он? Поставьте какой-нибудь Gentoo Hardened или что-то с SELinux, будет сурово, не хуже, чем Unix. Основное отличие Unix от Linux - поддержка и ориентированность на корпоративный сектор вкупе с поддержкой какого-то конкретного железа. Дома все это не нужно... Учитесь, поставьте fail2ban, не допускайте лишних запущенных сервисов на сервере, а все, какие очень нужны - переносите на нестандартные порты и только на те интерфейсы, где они нужны, пароли - не менее 8 символов, включая спецсимволы, цифры и разный регистр букв... Меры просты и банальны...