что нужно сделать, чтобы микрофон наушника работал, а не встроенный микрофон ноутбука?
Я, конечно, не знаток 17.10, но полагаю, что нужно правильно выбрать источник записи в настройках pulseaudio.
У меня это выглядит как-то так:

Эта программа называется "PulseAudio Volume Control", или "Регулятор громкости PulseAudio", или "pavucontrol".
(У меня 14.04 (ядро 4.4, драйвера проприетарные) на ноутбуке Dell Inspiron, воткнул гарнитуру от телефона с 4-х контактным джеком)