работаю через webmin
Плохо, очень плохо.
Все "конфигурялки" хороши только если ты точно знаешь, что происходит.
Либо если система изначально ориентирована на такую вот конфигурялку (читай - винды, но даже винды не все настройки публикуют, многие можно активировать только через реестр, и надо хорошо знать, что ты делаешь...)
Открывай консоль и смотри глазами, что лежит в sites-enabled.
И точнее определи, как именно должны обрабатываться некорректные домены.
Должна ли это быть просто общая ошибка "вы попали куда-то не туда", либо перекидывать все поддомены на основные (тогда нет смысла писать serveralias)?
И у тебя ServerAlias прописаны неправильно. Имя сайта дублируется.