Оказывается это баг в ядре. В ядре 4.4. нормально все триммится.
Жаль, что для того, чтобы поставить ядро 4.4., надо обновить еще gcc, иначе Virtualbox не собирается и Nvidia.
Гимор короче. Пока без трима поживу до 16.04.
Пользователь решил продолжить мысль 08 Марта 2016, 01:11:38:
Поставил gcc-4.9 и все стало собираться на ядре 4.4.
Только для этого массу пакетов пришлось поставить от wily. А то там точные версии в зависимостях.
Вроде больше ничего не поломалось. Но при обновлениях могут быть фокусы.
Перед этим сделал снапшот корня. Так что если будет доставать, то вернусь.