А проблема точно именно в WEP?
что будет если, например отключить wep и пропробовать подключиться с убунты - будет работать или нет?
У меня NM заработал в ad-hoc только после установки пакета dnsmasq-base. Как оказалось, это его недокументированная зависимость для ad-hoc.
но подключаемость к винде я не проверял, из-за отсутствия винды.
Еще стоит проверить переключается ли карточка в ad-hoc, на всякий случай. Во время попытки подключения понабирать iwconfig и посмотреть в каком режиме карточка.
Какая, кстати, карточка и какие дрова?