наверное, дело в быстродействии системы.
чтобы проверить, что xubuntu быстрее вообще, нужно из терминала запустить скачивание файла. потом то же самое сделать в убунте. тесты проделать раз пять. сравнить максимальную скорость.
Уверен на 95%, что тут NM не при чём.