Кхммм... Пластырь и вата))
А если серьезно, узнайте, как называются модули ядра и внесите их (blacklist) в /etc/modprobe.d
Только это ни к чему.
Поскольку доступ к этим устройствам имеют пользователь и группа, без Вашего личного разрешения подключиться не выйдет. Не заморачивайтесь.