Установка нейросети (Neural Network of Artistic Style)

[lenster]

Здравствуйте, задался целью установить нейросеть, но никак не могу понять полностью как нужно её устанавливать и запускать.
Бьюсь уже третий вечер, всё безрезультатно, скорее всего т.к редко на ubuntu сижу. (16.04 LTS)

Основная ссылка с установочником -https://github.com/jcjohnson/neural-style
Цель, запустить именно на CUDA.

Очень плохо понимаю как устанавливать зависимости.
Torch7
Например переходя по ссылке на Torch7, попадаю просто на архив, без каких-либо объяснений как его установить и т.п(наверное многого хочу, если есть какой-нибудь мануал, как такие архивы устанавливать, буду рад любым ссылкам.)

После этого иду на Torch.ch, и вроде как нахожу какой-то мануал http://torch.ch/docs/getting-started.html#_
Но опять же плохо мне понятен.
Первый код как я понимаю всё устанавливает.
Второй указывает путь к переменным(какой выбрать, я в догадках... надо наверное читать про bash и zsh и понять, что у меня за система.)
Пакет luarocks, не знаю что это, но вроде как для loadcaffe нужна будет. И опять же команда не распознана.

loadcaffe

Код: [Выделить]

sudo apt-get install libprotobuf-dev protobuf-compilerНу, вроде установило, надеюсь.

Код: [Выделить]

luarocks install loadcaffeError: No results matching query were found.

И что означает последний пункт загрузки сети? Это вообще для терминала?

Код: [Выделить]

require 'loadcaffe'
model = loadcaffe.load('deploy.prototxt', 'bvlc_alexnet.caffemodel', 'ccn2')

Optional dependencies:
Опять же плохо понятно, если я хочу запустить на cuda нейросеть, то нужна ли мне OpenCL или они зависимы, аналогично с cuDNN.
И что есть cunn.(всмысле как установить, опять просто архив..

После этого говорят скачать оригинальную модель vgg-199 с помощью строки

Код: [Выделить]

sh models/download_models.shsh: 0: Can't open models/download_models.sh

Или я просто не правильно понимаю написанное.


До настройки как и до запуска как я понял мне ещё далеко.
Вот вроде хорошее видео по запуску, на всякий случай -https://www.youtube.com/watch?v=3AnXiDksblA

На этом всё, что понял, как установить и т.п.
Так же есть сборка на python, но как я понимаю там намного меньше настроек и т.п, но было бы неплохо эту сеть тоже настроить, т.к python немного изучали и интересно посмотреть, как там что внутри. Но мне кажется на python всё работать будет намного медленней. https://github.com/andersbll/neural_artistic_style

Спасибо всем кто дочитал, и заранее спасибо за любую помощь.
ТС не появлялся на Форуме более полугода по состоянию на 14/07/2019 (последняя явка: 29/08/2016). Модератором раздела принято решение закрыть тему.
--zg_nico

[ARTGALGANO]

INSTALL.md
Читал ? 1 пункт- установка торча,
Тока 16.04 не пойдет, т.к  cuda  есть для 14.04(пункт 4 )

[lenster]

О, спасибо большое.
Сегодня установлю 14.04 и попробую по этому мануалу

[lenster]

Почти получилось всё поставить, спасибо за подсказку.
На цпу вроде как проходят итерации, хотя я ещё не смотрел нигде результат, т.к долго.
Для обычного запуска на видеокарте у меня не хватает видеопамяти, 1 мая получу посильнее видеокарту и попробую.
А третий способ, который опять подразумевает использовании видеокарты, но каким-то другим способом, с помощью библиотеки cudnn, выдал ошибку, которую не могу решить.

Т.е вроде как не может найти файл, хотя вроде туда установил. (по мануалу)
Что можно попробовать, чтобы исправить ошибку?

[AnrDaemon]

Какую ошибку? Вы вообще инструкцию читали? А поняли прочитанное?

[lenster]

Да, спасибо большое.
Достаточно было прописать нужный путь: " LD_LIBRARY_PATH=/usr/local/cuda-7.0/lib64:${LD_LIBRARY_PATH}"
Но это для единичного использования

И всё же меня терзает один вопрос, это ошибка, что на скриншоте, она точно решится с помощью увеличения объёма видеомапяти видеокарты или нет...

Пользователь добавил сообщение 15 Апреля 2016, 22:42:01:К сожалению, попробовав всякие настройки, всё же нахожу на мысль, что это какая-то проблема. Т.к пробовал делать входящие и выходящие изображения ниже 100x100 пикселей и всё равно ошибка остаётся.
Вот что автор советует:
Problem: The program runs out of memory and dies

Solution: Try reducing the image size: -image_size 256 (or lower). Note that different image sizes will likely require non-default values for -style_weight and -content_weight for optimal results. If you are running on a GPU, you can also try running with -backend cudnn to reduce memory usage.

[lenster]

Пока пробую установить нейросеть на питоне, встал опять в начале, на ошибке при установке cudarray, жалуется на отсутствующий модуль Cython.Build
Как его установить я пока не нашёл..
Если кто знает, как именно нужно установить, не откажусь от помощи =)

Код: [Выделить]

lenster@lenster:~/Загрузки/cudarray$ python setup.py install
Traceback (most recent call last):
  File "setup.py", line 9, in <module>
    from Cython.Build import cythonize
ImportError: No module named Cython.Build
https://github.com/andersbll/neural_artistic_style

Установил.
Решил проблему с запуском из-за неправильного юникода.

Устанавливаю deeppy
Установил.
Пользователь добавил сообщение 16 Апреля 2016, 15:22:03:По аналогии питоновская нейросеть так же вылетела при попытке запуска на видеокарте.
Что интересно cpu режим использует только 1 ядро процессора.

[ArtemkaJS]

Тоже решил установить нейросеть. Дошел до установки cunn

Код: [Выделить]

luarocks install cunnПроцесс шел с Warning'ами. Дошло до 100% и всё, ничего не происходит больше. Вот последнее, что выдало в консоли:

Код: [Выделить]

[100%] Building NVCC (Device) object lib/THCUNN/CMakeFiles/THCUNN.dir/THCUNN_generated_SpatialReplicationPadding.cu.o
CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THStorage.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THStorageCopy.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THCStorage.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THCStorageCopy.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THTensor.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THTensorCopy.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THTensorRandom.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THTensorMath.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THTensorConv.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THTensorLapack.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THCTensor.h


CMake Warning at /usr/share/cmake-3.2/Modules/FindCUDA/make2cmake.cmake:65 (message):
   Removing non-existent dependency file: generic/THCTensorCopy.h


Подскажите в чем причина? Почему установка не завершается?

[alsoijw]

ArtemkaJS, с чего вывод что не установилась? На предупреждения должны обращать внимание разработчики софта, а не пользователи.

[maks05]

lenster, срочно перезалейте все картинки, согласно Правилам форума.
Правила форума

1.5. Для добавления графических изображений в сообщения требуется использовать внешние сервисы. Подробную инструкцию, а так же список рекомендованных и запрещенных сервисов можно посмотреть в «Руководстве по добавлению изображений на форум».

Предупреждение пока без процентов. И выводы Терминала лучше ставить в сообщение не картинками, а копировать через буфер обмена в виде текста, и оформлять под "Спойлер" (значок радиации над окном набора сообщения) если они длинные.
--maks05

[ArtemkaJS]

ArtemkaJS, с чего вывод что не установилась? На предупреждения должны обращать внимание разработчики софта, а не пользователи.

В инструкции к установке neural-style есть следующее предложение

You can check that the installation worked by running the following:

Код: [Выделить]

th -e "require 'cutorch'; require 'cunn'; print(cutorch)"

Когда я ввожу это в консоль, то вылетает ошибка:

Код: [Выделить]

artemkajs@artemkajs-pc-one:~$ th -e "require 'cutorch'; require 'cunn'; print(cutorch)"
THCudaCheck FAIL file=/tmp/luarocks_cutorch-scm-1-3280/cutorch/lib/THC/THCGeneral.c line=20 error=30 : unknown error
/home/artemkajs/torch/install/share/lua/5.1/trepl/init.lua:384: cuda runtime error (30) : unknown error at /tmp/luarocks_cutorch-scm-1-3280/cutorch/lib/THC/THCGeneral.c:20

Т.к. процесс установки cunn не завершился самостоятельно, то я решил, что cunn не установился.

[AvaTTaR]

Да, я тоже вечер сегодняшний положил на это дело, по итогу на CPU всё отлично работает(только туго, словно Ведьмака на Duron 1300 стартую)
А дело такое:
Ubuntu 15.10
Проблема у меня тоже уперлась в cunn, cutorch ставил через костыль с комментированием строки "#error -- unsupported GNU version! gcc versions later than 4.9 are not supported!"
А вот при попытке поставить cunn помимо кучи варнингов всё заканчивается вот такой картиной:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

/tmp/luarocks_cunn-scm-1-8970/cunn/lib/THCUNN/SpatialClassNLLCriterion.cu(16): error: identifier "__shfl_down" is undefined

1 error detected in the compilation of "/tmp/tmpxft_00005fa1_00000000-20_SpatialClassNLLCriterion.compute_20.cpp1.ii".
CMake Error at THCUNN_generated_SpatialClassNLLCriterion.cu.o.cmake:264 (message):
  Error generating file
  /tmp/luarocks_cunn-scm-1-8970/cunn/build/lib/THCUNN/CMakeFiles/THCUNN.dir//./THCUNN_generated_SpatialClassNLLCriterion.cu.o


lib/THCUNN/CMakeFiles/THCUNN.dir/build.make:167: ошибка выполнения рецепта для цели «lib/THCUNN/CMakeFiles/THCUNN.dir/THCUNN_generated_SpatialClassNLLCriterion.cu.o»
make[2]: *** [lib/THCUNN/CMakeFiles/THCUNN.dir/THCUNN_generated_SpatialClassNLLCriterion.cu.o] Ошибка 1
make[2]: *** Ожидание завершения заданий…
CMakeFiles/Makefile2:90: ошибка выполнения рецепта для цели «lib/THCUNN/CMakeFiles/THCUNN.dir/all»
make[1]: *** [lib/THCUNN/CMakeFiles/THCUNN.dir/all] Ошибка 2
Makefile:116: ошибка выполнения рецепта для цели «all»
make: *** [all] Ошибка 2

Error: Build error: Failed building.


Может кто подскажет в какую сторону думать, а то уже мутит немного, чую закончиться это даунгрейдом до 14.04 на которой вроде без костылей можно пробовать.

[ArtemkaJS]

Да, я тоже вечер сегодняшний положил на это дело, по итогу на CPU всё отлично работает(только туго, словно Ведьмака на Duron 1300 стартую)
А дело такое:
Ubuntu 15.10
Проблема у меня тоже уперлась в cunn, cutorch ставил через костыль с комментированием строки "#error -- unsupported GNU version! gcc versions later than 4.9 are not supported!"

Мне с gcc проблемой помогли вот эти 2 строчки. Может кому пригодится.

Код: [Выделить]

export CXX=/usr/bin/g++-4.9
export CC=/usr/bin/gcc-4.9
Я когда запускаю на CPU - тормозов почему-то нет, но и процесс идет оочень медленно.