Форум русскоязычного сообщества Ubuntu


Увидели сообщение с непонятной ссылкой, спам, непристойность или оскорбление?
Воспользуйтесь ссылкой «Сообщить модератору» рядом с сообщением!

Автор Тема: Низкая загрузка CPU и GPU. Обуч. нейронной сети (Keras+TensorFlow+CUDA+1080Ti).  (Прочитано 1582 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн White_Shark

  • Автор темы
  • Новичок
  • *
  • Сообщений: 8
    • Просмотр профиля
Здравствуйте! Я пытаюсь провести обучение своей нейронной сетки на такой машине:
CPU: Intel Core i7-4820K
MB: ASUSTeK P9X79-E WS
RAM: Corsair DDR3 CMZ16GX3M2A2400C1
GPU: MSI nVidia GTX 1080 Ti Aero OC
SSD: Samsung 960 EVO NVMe - 1 Tb
HDD: Seagate Barracuda ST3500320NS
OS: Ubuntu 16.04. Ядро 4.10.17-custom. Установлена на обычный HDD.
Вот подробнее:
(Нажмите, чтобы показать/скрыть)
Моя нейронка по размерам сопоставима с GoogLeNet, хотя, конечно, поменьше. Исходные данные (Data_X и Data_Y, кто имел дело с нейронными сетями, тот поймет :)) по объему тоже сопоставимы. Если посмотреть на статью https://www.pugetsystems.com/labs/hpc/TitanXp-vs-GTX1080Ti-for-Machine-Learning-937/ , то моя сетка должна обучаться (30 эпох) на одном GTX 1080Ti примерно 20 часов (ну какой-нибудь +-), а у меня получается (30 эпох) 360 часов.

Для теста специально изменил свои данные (выкинул все остальные данные, которые не влезали в оперативку). Таким образом я исключил тормоза вызванные SSD диском, поскольку теперь у меня весь датасет помещается в оперативку. Т.е. диски вообще не используются.
Запускаю обучение:
$ python3 train_nn.pyВсё компилиться, и начинается обучение. Смотрю на
$ nvidia-smiИ вижу, что GPU грузиться, в среднем, процентов на 35-40.
Смотрю на "Системный монитор" -> "Ресурсы" -> "Использование ЦП"
И вижу, что загрузка CPU, в среднем, тоже процентов 30-40.
Что, неужели оперативка так сильно всё тормозит?

ВОПРОС: Как можно найти то звено, которое тормозит вычисления? Если это оперативка, то как в этом убедиться? Если это настройки ядра, то что нужно настроить, чтобы GPU грузился полностью?

PS Кстати, пробовал под виндой запускать GTA5. Похожая проблема с системой. БОльшую часть времени GPU грузиться, в среднем, на 60%, хотя иногда и бывает 97% и общая загрузка CPU тоже где-то 60%. В это время FPS становиться около 55-70 на Full HD. Когда GPU грузится на 97%, то FPS становится около 130.

Дополнительные уточнения:
Под спойлером описано, что настраивал и, что и как устанавливал
(Нажмите, чтобы показать/скрыть)
« Последнее редактирование: 25 Сентября 2017, 17:26:20 от White_Shark »

 

Страница сгенерирована за 0.02 секунд. Запросов: 22.