Вообще странно. Для колонок и наушников обычно разные разъёмы, если это десктоп. И наушники автоматически отключают колонки - это норма. Если же имеется ввиду ноутбук, то как вы подключили к нему и наушники и колонки (внешние) одновременно? Обычно разъём один и для подобного подключения надо использовать какие-либо разветвители-переходники. Тогда лучше копнуть в сторону поиска продвинутого разветвителя на котором будет автоматическое или ручное отключение колонок (переключение сигнала). Если же разговор про встроенные в ноутбук колонки, то возвращаемся к ситуации с дестопом: наушники должны отключать колонки.
В общем, тут либо не хватает какой-то элементарной настройки в системе (не знаю чего именно, не сталкивался), либо проблема аппаратная (например, элементарно, сломан разъём наушников на ноутбуке).
И кстати, какая версия ОС?