Форум русскоязычного сообщества Ubuntu


Хотите сделать посильный вклад в развитие Ubuntu и русскоязычного сообщества?
Помогите нам с документацией!

Автор Тема: 12 GPU  (Прочитано 4749 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Bairom

  • Автор темы
  • Новичок
  • *
  • Сообщений: 21
    • Просмотр профиля
12 GPU
« : 22 Сентября 2017, 02:03:54 »
Дорого всем времени суток!
Суть: Из установленных 12 видеокарт Ubuntu определяет только 7, но вентиляторы крутятся на всех.
Вопрос: В чем может быть проблема?

ОС: Ubuntu 16.04.03
ядро: 4.10.0-35
Материнская плата: Asus z270p (4 карты подключены через стандартные разъемы в материнской плате, 8 карт подключены через 2 расширителя по 4 шт. в каждом)
Видеокарта: AMD rx 470
Драйвер: не установлен

Punko

  • Гость
Re: 12 GPU
« Ответ #1 : 22 Сентября 2017, 17:55:10 »
Bairom, вывод lspci показывай.

Иногда не хватает мощности БП, не смотря на то, что крутятся кулеры карт.

Оффлайн maks05

  • Старожил
  • *
  • Сообщений: 6786
    • Просмотр профиля
Re: 12 GPU
« Ответ #2 : 22 Сентября 2017, 18:05:42 »
Bairom, майнинг?

Оффлайн Bairom

  • Автор темы
  • Новичок
  • *
  • Сообщений: 21
    • Просмотр профиля
Re: 12 GPU
« Ответ #3 : 22 Сентября 2017, 18:07:59 »
Иногда не хватает мощности БП, не смотря на то, что крутятся кулеры карт.
Это можно исключить со 100% увереностью

Пользователь добавил сообщение 22 Сентября 2017, 18:09:11:
Bairom, майнинг?

к чему такие уточнения?

Punko

  • Гость
Re: 12 GPU
« Ответ #4 : 22 Сентября 2017, 20:11:48 »
Bairom, вывод lspci показывай.

Оффлайн maks05

  • Старожил
  • *
  • Сообщений: 6786
    • Просмотр профиля
Re: 12 GPU
« Ответ #5 : 22 Сентября 2017, 23:27:54 »
к чему такие уточнения?
К тому, что некоторые проблемы решаются альтернативными способами, изначально. Но для этого нужно знать саму цель.
Ну, или добро пожаловать:
https://forum.ubuntu.ru/index.php?topic=292636.0

Оффлайн Bairom

  • Автор темы
  • Новичок
  • *
  • Сообщений: 21
    • Просмотр профиля
Re: 12 GPU
« Ответ #6 : 23 Сентября 2017, 11:13:52 »
https://forum.ubuntu.ru/index.php?topic=292636.0

Сама цель определить 12 карт в Ubuntu на этом железе

Пользователь добавил сообщение 23 Сентября 2017, 11:16:37:

Bairom, вывод lspci показывай.

(Нажмите, чтобы показать/скрыть)

Цитировать
Правила форума
1.4. Листинги и содержимое текстовых файлов следует добавлять в сообщение с помощью тегов [spoiler]...[/spoiler] или [code]...[/code], либо прикреплять к сообщению в виде отдельного файла. Длинные гиперссылки следует оформлять при помощи тега [url=]...[/url]

  --Aleksandru
« Последнее редактирование: 25 Сентября 2017, 13:34:35 от Aleksandru »

Punko

  • Гость
Re: 12 GPU
« Ответ #7 : 23 Сентября 2017, 22:26:46 »
Bairom, при загрзке что показывает? Какие-то есть ошибки в dmesg ?

Оффлайн Bairom

  • Автор темы
  • Новичок
  • *
  • Сообщений: 21
    • Просмотр профиля
Re: 12 GPU
« Ответ #8 : 25 Сентября 2017, 12:55:20 »
Установил ubuntu setver 16.04.03 и обновил ядро до 4.13.3
Получилось следующие:

1. при подключении видеокарт в материнскую плату пропадает интернет, отключаю карты снова появляется (скрин на скрепке)
При загрузки, в тот момент когда появляются сообщения с зелеными крестиками, пролетает одно с красным, но так быстро что прочитать не удается.
Изначально установка была на интегрированной видеокарте, при подключение внешней, хотя бы одной, пропадал интернет, переустановил с одной внешней картой. Теперь при подключении следующих карт появляется эта проблема.
   
2. при подключении расширителя PCIe (с картами или без) система не загружается, по экрану быстро и бесконечно бегут строки "pcie bus error severity=corrected type=physical layer".

фото и скрины
https://yadi.sk/d/7bfKHFJW3NCU3q

rig001@ubuntu:~$ lspci
00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev                                                                                          07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                                                          67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 P                                                                                         CI Express Gigabit Ethernet Controller (rev 15)
rig001@ubuntu:~$
« Последнее редактирование: 25 Сентября 2017, 13:01:58 от Bairom »

Оффлайн Bairom

  • Автор темы
  • Новичок
  • *
  • Сообщений: 21
    • Просмотр профиля
Re: 12 GPU
« Ответ #9 : 28 Сентября 2017, 01:47:30 »
В общем чего я добился.

1. проблема с интернетом решена
- в grub внес следующие изменения GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0" 
- sudo nano /etc/network/interfaces изменил на следующие:
                      auto eth0
                      iface eth0 inet dhcp

2.проблема с определением расширителя тоже решена
- в grub внес следующие изменения sudo nano  GRUB_CMDLINE_LINUX="text pci=nomsi"


в итоге получилось GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0 text pci=nomsi"





ОСТАЛАСЬ 1 ПРОБЛЕМА: "Не видит карты подключенные через второй расширитель"

Количество карт определяемое max 9 шт. (5шт. в материнской плате + 4шт. через расширитель)

Выяснил следующие:
- если поменять расширитель на второй - работает - следовательно второй расширитель рабочий!
- вариации подключения расширителей к материнской плате - результат нулевой
- установил 5 разных ядер, включая последнее, не стабильное - результат нулевой
- если подключить 1 карту через расширитель, а не непосредственно в материнскую плату, тем самым сделать общее количество карт 9 шт. Видит только 8 шт.

Следовательно я делаю вывод, что "ubuntu server" не видит второй расширитель. Хотя на "ubuntu" два расширителя работали вместе на тех же ядрах, но максимально количество карт не превышало 7 шт. в любых комбинациях. Из чего следует, что два расширителя должны работать вместе !!!

ВОПРОС: почему "ubuntu server" не видит второй расширитель?

Пользователь добавил сообщение 28 Сентября 2017, 01:52:35:
rig001@ubuntu:~$ sudo lshw -c video
(Нажмите, чтобы показать/скрыть)

Пользователь добавил сообщение 28 Сентября 2017, 01:55:33:
rig001@ubuntu:~$ lspci
(Нажмите, чтобы показать/скрыть)
« Последнее редактирование: 28 Сентября 2017, 21:33:06 от Punko »

Punko

  • Гость
Re: 12 GPU
« Ответ #10 : 28 Сентября 2017, 22:54:55 »
Bairom, реально не думаю, что тут могут помочь с такими запросами.

Оффлайн DimanBG

  • Старожил
  • *
  • Сообщений: 1316
    • Просмотр профиля
Re: 12 GPU
« Ответ #11 : 29 Сентября 2017, 07:18:23 »
реально не думаю, что тут могут помочь с такими запросами.
Там мат. плата не предназначена для таких целей, которые у ТС. Видит или не видит, - это не значит, что будет работать. Максимум производительности можно добиться с картой в первом 16х слоте и дополнительно во 2-м с 4 линиями, при условии, что ЦП 20 линий поддерживает.

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3487
  • Ubuntu 22.04 х64
    • Просмотр профиля
Re: 12 GPU
« Ответ #12 : 29 Сентября 2017, 10:25:42 »
Вопрос: В чем может быть проблема?
Ну Вы естественно технические характеристики процессора не читали, да и сам процессор тоже не указали.
Смею предположить, что это i7-6970HQ, так там всего 16 каналов PCIe (Up to 1x16, 2x8, 1x8+2x4). В какие слоты и что вы вставляли - я не в курсе. Можете сами поразбираться.
Для вашего случая надо i7-78XX (28 каналов) или i-9-79XX (44 канала)




Пользователь добавил сообщение 29 Сентября 2017, 10:27:19:
Максимум производительности можно добиться с картой в первом 16х слоте и дополнительно во 2-м с 4 линиями, при условии, что ЦП 20 линий поддерживает
У него Intel. А потому линий или 16, или 28 или 44. Но пока ТС не скажет, что у него там, мы будем гадать на кофейной гуще

P.S. А не проще было поставить AMD FirePro™ S9150
« Последнее редактирование: 29 Сентября 2017, 10:33:46 от EvangelionDeath »
HP Pro 840 G3: Intel i5-6300U, 32GB DDR4 2133MHz, Intel 520, Intel Pro 2500 180GB/Ubuntu 22.04
Dell Latitude 5590: Intel i5-8350U, 16GB DDR4 2400MHz, Intel 620, Samsung 1TB/Ubuntu 22.04

Оффлайн Bairom

  • Автор темы
  • Новичок
  • *
  • Сообщений: 21
    • Просмотр профиля
Re: 12 GPU
« Ответ #13 : 29 Сентября 2017, 10:30:06 »
Процессор Intel Celeron G3930

Пользователь добавил сообщение 29 Сентября 2017, 10:30:39:
"Но пока ТС не скажет, что у него там, мы будем гадать на кофейной гуще" что такое ТС ?

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3487
  • Ubuntu 22.04 х64
    • Просмотр профиля
Re: 12 GPU
« Ответ #14 : 29 Сентября 2017, 10:37:56 »
PCI Express Configurations ‡ Up to 1x16, 2x8, 1x8+2x4
Max # of PCI Express Lanes 16

Итого: ну никак вы не заведете все 12 (максимум 8 должно было быть, хотя зависит от того, в какие порты и что вы понапихивали).

Как я выше там писал:
Для вашего случая надо i7-78XX (28 каналов) или i-9-79XX (44 канала) (в первом не уверен ибо только 12 каналов "свободных" на 5 карт)...
HP Pro 840 G3: Intel i5-6300U, 32GB DDR4 2133MHz, Intel 520, Intel Pro 2500 180GB/Ubuntu 22.04
Dell Latitude 5590: Intel i5-8350U, 16GB DDR4 2400MHz, Intel 620, Samsung 1TB/Ubuntu 22.04

 

Страница сгенерирована за 0.044 секунд. Запросов: 25.