watchdog: BUG: soft lockup после обновления ядра до версии 5.15.0-52

[Dmitry_76]

Ubuntu 22.04 обновленная с 20.04. После обновления версии ядра с 5.15.0-48 до 5.15.0-52 начались проблемы с загрузкой и выключением ОС. Процесс нормально доходит до ввода пароля, а после сильно задумывается, перезагружается внутри себя (не знаю как описать точнее), и только после этого загружается графическая оболочка и можно работать. При выключении ситуация повторяется. Также задумчивость, потом перезагрузка "внутри себя" и только потом выключение. Если выбрать 5.15.0-48 ядро, то такой проблемы нет.
Надеялся, что следующая версия ядра этот косяк исправит, но вчера пришли обновления до версии 5.15.0-53, а проблема осталась, даже субъективно время зависания при включениии выключении увеличилось
Вывод hwinfo --all --short под спойлером

(Нажмите, чтобы показать/скрыть)

cpu:                                                           
                       Intel(R) Core(TM) i5-4570 CPU @ 3.20GHz, 3395 MHz
                       Intel(R) Core(TM) i5-4570 CPU @ 3.20GHz, 2900 MHz
                       Intel(R) Core(TM) i5-4570 CPU @ 3.20GHz, 3418 MHz
                       Intel(R) Core(TM) i5-4570 CPU @ 3.20GHz, 800 MHz
keyboard:
  /dev/input/event3    SiGma Micro Keyboard
mouse:
  /dev/input/mice      Logitech RX 250 Optical Mouse
graphics card:
                       nVidia GK104 [GeForce GTX 760]
                       Intel Xeon E3-1200 v3/4th Gen Core Processor Integrated Graphics Controller
sound:
                       Intel 9 Series Chipset Family HD Audio Controller
                       Intel Xeon E3-1200 v3/4th Gen Core Processor HD Audio Controller
                       nVidia GK104 HDMI Audio Controller
storage:
                       Intel 9 Series Chipset Family SATA Controller [AHCI Mode]
network:
  enp3s0               Gigabyte Onboard Ethernet
network interface:
  lo                   Loopback network interface
  enp3s0               Ethernet network interface
disk:
  /dev/sdf             Generic USB3.0 CRW    -3
  /dev/sdd             Generic USB3.0 CRW    -1
  /dev/sdb             WDC WD1003FZEX-0
  /dev/sde             Generic USB3.0 CRW    -2
  /dev/sdc             Generic USB3.0 CRW    -0
  /dev/sda             ST1000DX001-1CM1
partition:
  /dev/sdb1            Partition
  /dev/sdb2            Partition
  /dev/sdb3            Partition
  /dev/sda1            Partition
  /dev/sda3            Partition
  /dev/sda4            Partition
cdrom:
  /dev/sr0             PIONEER DVD-RW  DVR-221L
usb controller:
                       Intel 9 Series Chipset Family USB EHCI Controller #2
                       Intel 9 Series Chipset Family USB EHCI Controller #1
                       Intel 9 Series Chipset Family USB xHCI Controller
bios:
                       BIOS
bridge:
                       Intel 9 Series Chipset Family PCI Express Root Port 1
                       Intel Z97 Chipset LPC Controller
                       Intel Xeon E3-1200 v3/4th Gen Core Processor PCI Express x16 Controller
                       Intel 9 Series Chipset Family PCI Express Root Port 4
                       Intel 4th Gen Core Processor DRAM Controller
                       Intel 82801 PCI Bridge
                       Intel 9 Series Chipset Family PCI Express Root Port 3
hub:
                       Intel Hub
                       Linux Foundation 2.0 root hub
                       Linux Foundation 3.0 root hub
                       Linux Foundation 2.0 root hub
                       Intel Hub
                       Linux Foundation 2.0 root hub
memory:
                       Main Memory
bluetooth:
                       Cambridge Silicon Radio Bluetooth Dongle (HCI mode)
unknown:
                       FPU
                       DMA controller
                       PIC
                       Keyboard controller
  /dev/lp0             Parallel controller
                       Intel 9 Series Chipset Family ME Interface #1
                       Intel 9 Series Chipset Family SMBus Controller
                       Serial controller
                       Aveo USB2.0 Camera
  /dev/input/event5    SiGma Micro Keyboard

Вывод journalctl | grep -C3 lockup последней загрузки- выключения на 52 версии ядра под сполйлером

(Нажмите, чтобы показать/скрыть)

ноя 16 10:45:24 dmitry-Z97P-D3 canonical-livepatch.canonical-livepatchd[1263]: Client information is recent, not refreshing.
ноя 16 10:45:24 dmitry-Z97P-D3 canonical-livepatch.canonical-livepatchd[1263]: Error in livepatch check state: check-failed.
ноя 16 10:45:24 dmitry-Z97P-D3 canonical-livepatch.canonical-livepatchd[1263]: Task "refresh" completed succesfully after 1 retries.
ноя 16 10:45:38 dmitry-Z97P-D3 kernel: watchdog: BUG: soft lockup - CPU#1 stuck for 26s! [Xorg:1448]
ноя 16 10:45:38 dmitry-Z97P-D3 kernel: Modules linked in: rfcomm vboxnetadp(OE) vboxnetflt(OE) cmac algif_hash algif_skcipher af_alg bnep vboxdrv(OE) binfmt_misc intel_rapl_msr intel_rapl_common nvidia_uvm(POE) x86_pkg_temp_thermal intel_powerclamp nvidia_drm(POE) coretemp nvidia_modeset(POE) i915 snd_hda_codec_realtek kvm_intel snd_hda_codec_generic snd_soc_rt5640 uvcvideo btusb btrtl btbcm ledtrig_audio snd_soc_rl6231 snd_soc_core snd_hda_codec_hdmi snd_compress mei_hdcp snd_usb_audio snd_hda_intel videobuf2_vmalloc btintel snd_intel_dspcfg nvidia(POE) ac97_bus videobuf2_memops videobuf2_v4l2 kvm ttm snd_intel_sdw_acpi snd_hda_codec crct10dif_pclmul ghash_clmulni_intel videobuf2_common snd_hda_core snd_usbmidi_lib videodev bluetooth snd_pcm_dmaengine snd_hwdep drm_kms_helper aesni_intel snd_seq_midi cec snd_seq_midi_event snd_rawmidi rc_core ecdh_generic ecc snd_seq mc snd_pcm snd_seq_device snd_timer i2c_algo_bit fb_sys_fops joydev syscopyarea sysfillrect snd crypto_simd sysimgblt input_leds cryptd at24 rapl
ноя 16 10:45:38 dmitry-Z97P-D3 kernel:  intel_cstate soundcore mei_me mei mac_hid acpi_pad sch_fq_codel msr parport_pc ppdev drm lp ramoops pstore_blk pstore_zone reed_solomon parport efi_pstore ip_tables x_tables autofs4 hid_generic usbhid hid uas usb_storage i2c_i801 ahci crc32_pclmul libahci i2c_smbus lpc_ich r8169 xhci_pci realtek xhci_pci_renesas video
ноя 16 10:45:38 dmitry-Z97P-D3 kernel: CPU: 1 PID: 1448 Comm: Xorg Tainted: P           OE     5.15.0-52-generic #58-Ubuntu
--
ноя 16 10:54:41 dmitry-Z97P-D3 thermald[1086]: terminating on user request ..
ноя 16 10:54:42 dmitry-Z97P-D3 systemd[1]: thermald.service: Deactivated successfully.
ноя 16 10:54:42 dmitry-Z97P-D3 systemd[1]: Stopped Thermal Daemon Service.
ноя 16 10:55:06 dmitry-Z97P-D3 kernel: watchdog: BUG: soft lockup - CPU#2 stuck for 26s! [Xorg:2012]
ноя 16 10:55:06 dmitry-Z97P-D3 kernel: Modules linked in: rfcomm cmac algif_hash algif_skcipher af_alg bnep binfmt_misc intel_rapl_msr intel_rapl_common nvidia_uvm(POE) x86_pkg_temp_thermal intel_powerclamp nvidia_drm(POE) coretemp nvidia_modeset(POE) i915 snd_hda_codec_realtek kvm_intel snd_hda_codec_generic snd_soc_rt5640 uvcvideo btusb btrtl btbcm ledtrig_audio snd_soc_rl6231 snd_soc_core snd_hda_codec_hdmi snd_compress mei_hdcp snd_usb_audio snd_hda_intel videobuf2_vmalloc btintel snd_intel_dspcfg nvidia(POE) ac97_bus videobuf2_memops videobuf2_v4l2 kvm ttm snd_intel_sdw_acpi snd_hda_codec crct10dif_pclmul ghash_clmulni_intel videobuf2_common snd_hda_core snd_usbmidi_lib videodev bluetooth snd_pcm_dmaengine snd_hwdep drm_kms_helper aesni_intel snd_seq_midi cec snd_seq_midi_event snd_rawmidi rc_core ecdh_generic ecc snd_seq mc snd_pcm snd_seq_device snd_timer i2c_algo_bit fb_sys_fops joydev syscopyarea sysfillrect snd crypto_simd sysimgblt input_leds cryptd at24 rapl intel_cstate soundcore mei_me mei mac_hid
ноя 16 10:55:06 dmitry-Z97P-D3 kernel:  acpi_pad sch_fq_codel msr parport_pc ppdev drm lp ramoops pstore_blk pstore_zone reed_solomon parport efi_pstore ip_tables x_tables autofs4 hid_generic usbhid hid uas usb_storage i2c_i801 ahci crc32_pclmul libahci i2c_smbus lpc_ich r8169 xhci_pci realtek xhci_pci_renesas video [last unloaded: vboxdrv]
ноя 16 10:55:06 dmitry-Z97P-D3 kernel: CPU: 2 PID: 2012 Comm: Xorg Tainted: P           OEL    5.15.0-52-generic #58-Ubuntu
--
ноя 16 10:55:15 dmitry-Z97P-D3 systemd[1]: Condition check resulted in Tell Plymouth To Jump To initramfs being skipped.
ноя 16 10:55:15 dmitry-Z97P-D3 systemd[1]: fwupd.service: Deactivated successfully.
ноя 16 10:55:15 dmitry-Z97P-D3 systemd[1]: Stopped Firmware update daemon.
ноя 16 10:55:38 dmitry-Z97P-D3 kernel: watchdog: BUG: soft lockup - CPU#2 stuck for 21s! [Xorg:2012]
ноя 16 10:55:38 dmitry-Z97P-D3 kernel: Modules linked in: rfcomm cmac algif_hash algif_skcipher af_alg bnep binfmt_misc intel_rapl_msr intel_rapl_common nvidia_uvm(POE) x86_pkg_temp_thermal intel_powerclamp nvidia_drm(POE) coretemp nvidia_modeset(POE) i915 snd_hda_codec_realtek kvm_intel snd_hda_codec_generic snd_soc_rt5640 uvcvideo btusb btrtl btbcm ledtrig_audio snd_soc_rl6231 snd_soc_core snd_hda_codec_hdmi snd_compress mei_hdcp snd_usb_audio snd_hda_intel videobuf2_vmalloc btintel snd_intel_dspcfg nvidia(POE) ac97_bus videobuf2_memops videobuf2_v4l2 kvm ttm snd_intel_sdw_acpi snd_hda_codec crct10dif_pclmul ghash_clmulni_intel videobuf2_common snd_hda_core snd_usbmidi_lib videodev bluetooth snd_pcm_dmaengine snd_hwdep drm_kms_helper aesni_intel snd_seq_midi cec snd_seq_midi_event snd_rawmidi rc_core ecdh_generic ecc snd_seq mc snd_pcm snd_seq_device snd_timer i2c_algo_bit fb_sys_fops joydev syscopyarea sysfillrect snd crypto_simd sysimgblt input_leds cryptd at24 rapl intel_cstate soundcore mei_me mei mac_hid
ноя 16 10:55:38 dmitry-Z97P-D3 kernel:  acpi_pad sch_fq_codel msr parport_pc ppdev drm lp ramoops pstore_blk pstore_zone reed_solomon parport efi_pstore ip_tables x_tables autofs4 hid_generic usbhid hid uas usb_storage i2c_i801 ahci crc32_pclmul libahci i2c_smbus lpc_ich r8169 xhci_pci realtek xhci_pci_renesas video [last unloaded: vboxdrv]
ноя 16 10:55:38 dmitry-Z97P-D3 kernel: CPU: 2 PID: 2012 Comm: Xorg Tainted: P           OEL    5.15.0-52-generic #58-Ubuntu

Подскажите пожалуйста что делать, в какую сторону копать

[jurganov]

я один думаю, что обновления до следующей версии LTS ни к чему хорошему не приводят и лучше ставить чистую версию на отформатированный корень?

[andytux]

Не один. На форуме даже подобных тем уже пачками, например: "Ubuntu 20.04 предложила обновиться на 22.04. Обновился на свою голову. Помогите!"
Но кто-же учится на чужих ошибках... Хотя-бы соломки себе подстелить (сделать бэкап) никто не удосуживается. Бэкап перед тем, как наломаешь дров, а не после. И начинается потеха, как в первый день гололедицы...

[AlexBKost]

Dmitry_76, тут у одного Товарища Ubuntu перестала грузиться вообще при обновлении до ядра 5.15.0-53.

[Dmitry_76]

Хотя-бы соломки себе подстелить (сделать бэкап) никто не удосуживается

Спасибо за сочувствие, но бэкап делается регулярно и timemachine исправно работает.
Переход с 20.04 на 22.04 был сделан не вчера, а еще в начале лета (примерно), и все работало норм. Вопрос тут в другом. С чем может быть связана такая проблема и как ее исправить. А переустановка системы в любой непонятной ситуации, это, кажется, не "linux style" )).
Или я не прав?

[andytux]

"linux style" ...я не прав?

Стиль... Так покажи стиль.
Если проблема действительно в том, что ты привел в заголовке, то здесь приводится одно из решений.
А если...

...проблемы с загрузкой и выключением ОС...

...то об этом немало песен сложено.
В общем, ситуация примерно такая. "Железо1 ядро1" - "выключается перезагружается", "железо2 ядро1" - "не выключаетс не перезагружается. Обновили ядро. "Железо1 ядро2" - "не выключается не перезагружается", "железо2 ядро2" - "выключается перезагружается".

[Dmitry_76]

andytux, Как перезагрузка виртуальных машин MS Azure может помочь в моей ситуации? Скрипт я посмотрел, но к сожалению не увидел что именно кроме веерной перезагрузки там делается.
Если, не сложно, объясните пожалуйста своими словами.
(Ошибку забить в гугл я тоже в состоянии, и эту ссылку тоже видел, но видимо чего-то не понял)

[andytux]

"Слона-то я и не приметил."
Там в первой строке написано, применить патч. Для этого у тебя этот патч должен быть. Или кто-то должен его написать. Или ждать, когда в какой-нибудь версии ядра это исправят.
Еще вариант.

[Dmitry_76]

Там в первой строке написано, применить патч

Правильно ли я вас понял?.. Этот скрипт может применить патч (которого в нем нет) к виртуальным машинам Azure
Если это так, то вот и мне подобное почудилось

[Morisson]

Попробуйте удалите virtualbox с модулями ядра и перезагрузитесь
Либо, как уже выше предлагали, вырубите аппаратный watchdog либо измените время его срабатывание.
https://wiki.archlinux.org/title/improving_performance#Watchdogs

[Dmitry_76]

Morisson, Virtualbox снес, но это не помогло. Блокировка ядра наступает после ввода пароля на вход в систему, когда (вероятно) загружаются драйвера nvidia. Попытка сменить проприетарные дрова на открытые nouveau привела к черному экрану, но (спасибо timeshift) удалось откатиться.
Как изменить watchdog_thresh? Не могу найти никак. Если sysctl -w kernel.watchdog_thresh=20, то после перезагрузки информация не сохраняется

[andytux]

По одной из ссылок, что я приводил, такой пример:

Код: [Выделить]

# echo "kernel.watchdog_thresh=20" > /etc/sysctl.d/99-watchdog_thresh.confИли банальным текстовым редактором отредактировать файл.
А самый простой способ, только что проверил, в загрузчике добавить параметр ядра:

Код: [Выделить]

sysctl.kernel.watchdog_thresh=20

[Dmitry_76]

andytux, Напрямую с помощью sudo echo "kernel.watchdog_thresh=20" > /etc/sysctl.d/99-watchdog_thresh.conf почему-то система не дает, но с помощь vim все сработало  и сообщений о мягкой блокировке ядра больше нет. Но к сожалению проблема осталась. Также при загрузке и выключении как будто "перезагружается машина внутри себя"
Попробую блок питания помемнять. Вроде был запасной.

[ALiEN]

(Нажмите, чтобы показать/скрыть)

sudo echo "kernel.watchdog_thresh=20" > /etc/sysctl.d/99-watchdog_thresh.conf почему-то система не дает,

Код: [Выделить]

echo "kernel.watchdog_thresh=20" | sudo tee /etc/sysctl.d/99-watchdog_thresh.conf