Низкая загрузка CPU и GPU. Обуч. нейронной сети (Keras+TensorFlow+CUDA+1080Ti).

[White_Shark]

Здравствуйте! Я пытаюсь провести обучение своей нейронной сетки на такой машине:
CPU: Intel Core i7-4820K
MB: ASUSTeK P9X79-E WS
RAM: Corsair DDR3 CMZ16GX3M2A2400C1
GPU: MSI nVidia GTX 1080 Ti Aero OC
SSD: Samsung 960 EVO NVMe - 1 Tb
HDD: Seagate Barracuda ST3500320NS
OS: Ubuntu 16.04. Ядро 4.10.17-custom. Установлена на обычный HDD.
Вот подробнее:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

white_shark@white-shark:~/PROG$ sudo inxi -v 7 -xxxm
System:    Host: white-shark Kernel: 4.10.17-custom x86_64 (64 bit gcc: 5.4.0) Desktop: N/A dm: lightdm
           Distro: Ubuntu 16.04 xenial
Machine:   Mobo: ASUSTeK model: P9X79-E WS v: Rev 1.xx serial: 130511727000137
           Bios: American Megatrends v: 1704 date: 05/08/2015
CPU:       Quad core Intel Core i7-4820K (-HT-MCP-) cache: 10240 KB
           flags: (lm nx sse sse2 sse3 sse4_1 sse4_2 ssse3 vmx) bmips: 29609
           clock speeds: min/max: 1200/3700 MHz 1: 1362 MHz 2: 3390 MHz 3: 1294 MHz 4: 2106 MHz 5: 3112 MHz
           6: 3363 MHz 7: 1424 MHz 8: 3144 MHz
Memory:    Array-1 capacity: 96 GB devices: 8 EC: None
           Device-1: ChannelA_Dimm1 size: No Module Installed type: N/A bus width: 64 bits (total: 72 bits)
           Device-2: ChannelA_Dimm2 size: No Module Installed type: N/A bus width: 64 bits (total: 72 bits)
           Device-3: ChannelB_Dimm1 size: 8 GB speed: 2400 MHz type: DDR3 (Synchronous)
           bus width: 64 bits manufacturer: Corsair part: CMZ16GX3M2A2400C1 serial: N/A
           Device-4: ChannelB_Dimm2 size: No Module Installed type: N/A bus width: 64 bits (total: 72 bits)
           Device-5: ChannelC_Dimm1 size: No Module Installed type: N/A bus width: 64 bits (total: 72 bits)
           Device-6: ChannelC_Dimm2 size: No Module Installed type: N/A bus width: 64 bits (total: 72 bits)
           Device-7: ChannelD_Dimm1 size: 8 GB speed: 2400 MHz type: DDR3 (Synchronous)
           bus width: 64 bits manufacturer: Corsair part: CMZ16GX3M2A2400C1 serial: N/A
           Device-8: ChannelD_Dimm2 size: No Module Installed type: N/A bus width: 64 bits (total: 72 bits)
Graphics:  Card: NVIDIA Device 1b06 bus-ID: 03:00.0 chip-ID: 10de:1b06
           Display Server: X.org 1.19.3 driver: nvidia tty size: 263x73 Advanced Data: N/A for root
Audio:     Card-1 NVIDIA Device 10ef driver: snd_hda_intel bus-ID: 03:00.1 chip-ID: 10de:10ef
           Card-2 Intel C600/X79 series High Definition Audio Controller
           driver: snd_hda_intel bus-ID: 00:1b.0 chip-ID: 8086:1d20
           Sound: Advanced Linux Sound Architecture v: k4.10.17-custom
Network:   Card-1: Broadcom BCM4360 802.11ac Wireless Network Adapter
           driver: wl bus-ID: 09:00.0 chip-ID: 14e4:43a0
           IF: wlp9s0 state: up mac: 60:a4:4c:82:bb:a6
           Card-2: Intel I210 Gigabit Network Connection
           driver: igb v: 5.4.0-k port: d000 bus-ID: 0c:00.0 chip-ID: 8086:1533
           IF: enp12s0 state: down mac: 74:d0:2b:98:2b:52
           Card-3: Intel I210 Gigabit Network Connection
           driver: igb v: 5.4.0-k port: c000 bus-ID: 0d:00.0 chip-ID: 8086:1533
           IF: enp13s0 state: down mac: 74:d0:2b:98:2b:53
           WAN IP: 109.252.91.129 IF: enp12s0 ip-v4: N/A ip-v6: N/A
           IF: wlp9s0 ip-v4: 192.168.1.12 ip-v6: fe80::670f:fca3:1dec:2294 IF: enp13s0 ip-v4: N/A ip-v6: N/A
Drives:    HDD Total Size: 584.2GB (69.3% used)
           ID-1: /dev/nvme0n1 model: N/A size: 1000.2GB serial: S3ETNB0J500840R
           ID-2: /dev/sda model: SAMSUNG_HD082GJ size: 80.0GB serial: S0VPJDPPB02437 temp: 27C
           ID-3: /dev/sdb model: ST3500320NS size: 500.1GB serial: 9QMC1DRF temp: 33C
           ID-4: USB /dev/sdc model: DISK_2.0 size: 4.1GB serial: 9994FC5A02C88F8DFA2FF9C4-0:0 temp: 0C
           Optical: No optical drives detected.
Partition: ID-1: / size: 428G used: 18G (5%) fs: ext4 dev: /dev/sdb3
           label: N/A uuid: fd439241-65b0-4dd1-a2fa-dd34d0a49920
           ID-2: /boot/efi size: 96M used: 29M (30%) fs: vfat dev: /dev/nvme0n1p2 label: N/A uuid: 404A-5505
           ID-3: /media/white_shark/UBUNTU 16_0 size: 3.9G used: 1.5G (39%) fs: vfat dev: /dev/sdc1
           label: UBUNTU 16_0 uuid: B6F6-91FB
           ID-4: /mnt/nvme size: 653G used: 329G (54%) fs: ext4 dev: /dev/nvme0n1p4
           label: N/A uuid: 036b8988-c2b8-4945-ac9d-5362500dd6cd
           ID-5: swap-1 size: 33.55GB used: 0.00GB (0%) fs: swap dev: /dev/sdb2
           label: N/A uuid: b227113b-5ab4-40b3-9829-e81bee124eb4
RAID:      System: supported: N/A
           No RAID devices: /proc/mdstat, md_mod kernel module present
           Unused Devices: none
Unmounted: ID-1: /dev/nvme0n1 size: 1000.20G label: N/A uuid: N/A
           ID-2: /dev/nvme0n1p1 size: 0.47G fs: NTFS label: N/A uuid: 60EE49EDEE49BC52
           ID-3: /dev/nvme0n1p3 size: 0.02G label: N/A uuid: N/A
           ID-4: /dev/nvme0n1p5 size: 287.17G fs: NTFS label: N/A uuid: 6EB66E0FB66DD7DB
           ID-5: /dev/sda1 size: 0.47G fs: NTFS label: Восстановить uuid: DACA07E4CA07BC2F
           ID-6: /dev/sda2 size: 0.10G fs: FAT (32 bit) label: N/A uuid: CA08-D034
           ID-7: /dev/sda3 size: 0.02G label: N/A uuid: N/A
           ID-8: /dev/sda4 size: 79.43G fs: NTFS label: N/A uuid: 084C5F624C5F4998
           ID-9: /dev/sdb1 size: 0.31G fs: FAT (32 bit) label: EFI uuid: 69EE-5918
Sensors:   System Temperatures: cpu: 28.0C mobo: N/A gpu: 0.0:39C
           Fan Speeds (in rpm): cpu: 0
Info:      Processes: 295 Uptime: 2:23 Memory: 1733.9/15985.8MB
           Init: systemd v: 229 runlevel: 5 default: 2 Gcc sys: 5.4.0
           Client: Shell (sudo running in bash) inxi: 2.2.35


Моя нейронка по размерам сопоставима с GoogLeNet, хотя, конечно, поменьше. Исходные данные (Data_X и Data_Y, кто имел дело с нейронными сетями, тот поймет ) по объему тоже сопоставимы. Если посмотреть на статью https://www.pugetsystems.com/labs/hpc/TitanXp-vs-GTX1080Ti-for-Machine-Learning-937/ , то моя сетка должна обучаться (30 эпох) на одном GTX 1080Ti примерно 20 часов (ну какой-нибудь +-), а у меня получается (30 эпох) 360 часов.

Для теста специально изменил свои данные (выкинул все остальные данные, которые не влезали в оперативку). Таким образом я исключил тормоза вызванные SSD диском, поскольку теперь у меня весь датасет помещается в оперативку. Т.е. диски вообще не используются.
Запускаю обучение:

Код: [Выделить]

$ python3 train_nn.pyВсё компилиться, и начинается обучение. Смотрю на

Код: [Выделить]

$ nvidia-smiИ вижу, что GPU грузиться, в среднем, процентов на 35-40.
Смотрю на "Системный монитор" -> "Ресурсы" -> "Использование ЦП"
И вижу, что загрузка CPU, в среднем, тоже процентов 30-40.
Что, неужели оперативка так сильно всё тормозит?

ВОПРОС: Как можно найти то звено, которое тормозит вычисления? Если это оперативка, то как в этом убедиться? Если это настройки ядра, то что нужно настроить, чтобы GPU грузился полностью?

PS Кстати, пробовал под виндой запускать GTA5. Похожая проблема с системой. БОльшую часть времени GPU грузиться, в среднем, на 60%, хотя иногда и бывает 97% и общая загрузка CPU тоже где-то 60%. В это время FPS становиться около 55-70 на Full HD. Когда GPU грузится на 97%, то FPS становится около 130.

Дополнительные уточнения:
Под спойлером описано, что настраивал и, что и как устанавливал

(Нажмите, чтобы показать/скрыть)

Всё это я делал с системой в том порядке, в котором про это написано
Ядро
Ядро я пересобрал по этой инструкции:
https://help.ubuntu.ru/wiki/сборка_ядра
ядро получал так

Код: [Выделить]

apt-get source linux-image-`uname -r`делал

Код: [Выделить]

$ make oldconfig
$ make menuconfigДальше настроил почти по этой инструкции https://habrahabr.ru/post/234653/, только не ставил патч BFS и BFQ и ещё кое-что (описано ниже).
что сделал в ядре:
1) "Так что идем в Processor type and features и выбираем для параметра Preemption Model значение No Forced Preemption (Server). Не пугаемся фразы «ocasional longer delays are possible» потому что данную проблему у нас эффективно решает BFS и многоядерный процессор. Как и написано в описании, мы выигрываем в «raw processing power»."
2) Processor family - Core2/New Xeon
3) "Далее, устанавливаем для параметра Timer frequency значение 300 HZ. 100 все же будет маловато, да и смысла особого нет (читайте в описании почему), но вы можете поэкспериментировать. Также, 300 Гц нацело делится и на 25 и 30, что является типичными частотами для видео, это вносит свой вклад в борьбу с тирингом (это из хелпа. По факту, с тирингом успешно борется только тройная буферизация + vsync)."
4) Отключил hot-plug для памяти. Для процессора не смог отключить, оно автоматом включалось другими опциями. Не стал копаться, подумал, что это не принципиально и забил на это.
5) CPU Frequency scaling не трогал.
6) "Теперь отключим динамический таймер. Не уверен точно, так как не проверял конкретно, но похоже именно эта опция приводит к постоянным «подергиваниям» на некоторых видео и особенно в играх. Так что идем General setup -> Timers subsystem и для опции Timer tick handling выбираем Periodic timer ticks (constant rate, no dynticks)."
7) Патча BFQ не ставил, поэтому этот планировщик и не включал (нет у меня этой опции).

CUDA
Поставил CUDA 8 из deb пакета, скачанного с сайта nvidia. Делал по их инструкции.
https://developer.nvidia.com/cuda-downloads

Код: [Выделить]

    `sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64.deb`
    `sudo apt-get update`
    `sudo apt-get install cuda`
добавил нужные пути в PATH, CUDADIR, GLPATH, LD_LIBRARY_PATH, CUDA_HOME. В /etc/ld.so.conf.d/cuda.conf добавил

Код: [Выделить]

/usr/local/cuda/lib64
Установил патч от nvidia из deb пакета "cuBLAS Patch Update to CUDA 8: Includes performance enhancements and bug-fixes", взятый там же, где и cuda-toolkit (на сайте nvidia).
Поставил CUDnn v7 для CUDA 8 тоже deb пакетом

дальше установил tensorflow (опишу ниже) и в самом конце (после TF) пофиксил эту ошибку

Код: [Выделить]

sudo ldconfig
[sudo] пароль для sasha:
/sbin/ldconfig.real: /usr/lib/nvidia-375/libEGL.so.1 не является символьной ссылкой
/sbin/ldconfig.real: /usr/lib32/nvidia-375/libEGL.so.1 не является символьной ссылкойкак описано здесь https://askubuntu.com/questions/900285/libegl-so-1-is-not-a-symbolic-link

Код: [Выделить]

sudo mv /usr/lib/nvidia-375/libEGL.so.1 /usr/lib/nvidia-375/libEGL.so.1.org
sudo mv /usr/lib32/nvidia-375/libEGL.so.1 /usr/lib32/nvidia-375/libEGL.so.1.org
sudo ln -s /usr/lib/nvidia-375/libEGL.so.375.66 /usr/lib/nvidia-375/libEGL.so.1
sudo ln -s /usr/lib32/nvidia-375/libEGL.so.375.66 /usr/lib32/nvidia-375/libEGL.so.1этого не делал

Код: [Выделить]

sudo dpkg-reconfigure nvidia*
TensorFlow
Установил TF из исходников по их инструкции https://www.tensorflow.org/install/install_sources
настроил конфиг, как описано у них в инструкции. Всё собрал и установил. Вроде всё работает.
Хотя, когда создается сессия TF есть некоторые варнинги вот:

Код: [Выделить]

Using TensorFlow backend.
2017-09-25 12:48:38.058083: [b]I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:892] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero[/b]
2017-09-25 12:48:38.058530: I tensorflow/core/common_runtime/gpu/gpu_device.cc:965] Found device 0 with properties:
name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate(GHz): 1.62
pciBusID: 0000:03:00.0
totalMemory: 10.91GiB freeMemory: 10.43GiB
2017-09-25 12:48:38.058548: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1055] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:03:00.0, compute capability: 6.1)
Но я давно ещё немного гуглил на эту тему и понял, что это вроде бы ничего страшного.

Изменил схему ACPI
Поставил пакет indicator-cpufreq

Код: [Выделить]

$ sudo apt-get install indicator-cpufreqи запустил его

Код: [Выделить]

$ sudo indicator-cpufreqДальше сменил режим на "Производительность".