Бывает, что из пакета дров, который ubuntu подгружает по умолчанию, система выбирает для твоего чипа не тот драйвер, у меня такое было c DWA-125 и ubuntu 12.04, там ралинковский чип rt5370sta, а он зараза цеплял какие то rt23XX.
В итоге у меня регулярно была просадка по скорости до 24M/бит +/-
Как я это лечил не пытай, сейчас не вспомню точно

Самое надежное гугл в помощь, забить название свистка и версию ubuntu, а там "куда кривая выведет"

Почитай не спеша, удачи тебе

P.S. Кстати по поводу network-manager и debian осей, при настройке соединения я всегда прописываю настройки manual т.е. не автоматически, а вручную (как-то одно время помню были подобные, как у тебя проблемы).