12 GPU

[Bairom]

Дорого всем времени суток!
Суть: Из установленных 12 видеокарт Ubuntu определяет только 7, но вентиляторы крутятся на всех.
Вопрос: В чем может быть проблема?

ОС: Ubuntu 16.04.03
ядро: 4.10.0-35
Материнская плата: Asus z270p (4 карты подключены через стандартные разъемы в материнской плате, 8 карт подключены через 2 расширителя по 4 шт. в каждом)
Видеокарта: AMD rx 470
Драйвер: не установлен

[Punko]

Bairom, вывод lspci показывай.

Иногда не хватает мощности БП, не смотря на то, что крутятся кулеры карт.

[maks05]

Bairom, майнинг?

[Bairom]

Иногда не хватает мощности БП, не смотря на то, что крутятся кулеры карт.

Это можно исключить со 100% увереностью
Пользователь добавил сообщение 22 Сентября 2017, 18:09:11:

Bairom, майнинг?

к чему такие уточнения?

[Punko]

Bairom, вывод lspci показывай.

[maks05]

к чему такие уточнения?

К тому, что некоторые проблемы решаются альтернативными способами, изначально. Но для этого нужно знать саму цель.
Ну, или добро пожаловать:
https://forum.ubuntu.ru/index.php?topic=292636.0

[Bairom]

https://forum.ubuntu.ru/index.php?topic=292636.0

Сама цель определить 12 карт в Ubuntu на этом железе
Пользователь добавил сообщение 23 Сентября 2017, 11:16:37:

Bairom, вывод lspci показывай.

(Нажмите, чтобы показать/скрыть)

$ lspci
00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev 07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev 07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1b.4 PCI bridge: Intel Corporation Device a2eb (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.4 PCI bridge: Intel Corporation Device a294 (rev f0)
00:1c.5 PCI bridge: Intel Corporation Device a295 (rev f0)
00:1c.6 PCI bridge: Intel Corporation Device a296 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
03:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
06:00.0 PCI bridge: ASMedia Technology Inc. Device 1184
07:01.0 PCI bridge: ASMedia Technology Inc. Device 1184
07:03.0 PCI bridge: ASMedia Technology Inc. Device 1184
07:05.0 PCI bridge: ASMedia Technology Inc. Device 1184
07:07.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
08:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
09:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
09:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0a:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0a:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0b:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0b:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0d:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)

Правила форума
1.4. Листинги и содержимое текстовых файлов следует добавлять в сообщение с помощью тегов [spoiler]...[/spoiler] или [code]...[/code], либо прикреплять к сообщению в виде отдельного файла. Длинные гиперссылки следует оформлять при помощи тега [url=]...[/url]

  --Aleksandru

[Punko]

Bairom, при загрзке что показывает? Какие-то есть ошибки в dmesg ?

[Bairom]

Установил ubuntu setver 16.04.03 и обновил ядро до 4.13.3
Получилось следующие:

1. при подключении видеокарт в материнскую плату пропадает интернет, отключаю карты снова появляется (скрин на скрепке)
При загрузки, в тот момент когда появляются сообщения с зелеными крестиками, пролетает одно с красным, но так быстро что прочитать не удается.
Изначально установка была на интегрированной видеокарте, при подключение внешней, хотя бы одной, пропадал интернет, переустановил с одной внешней картой. Теперь при подключении следующих карт появляется эта проблема.
   
2. при подключении расширителя PCIe (с картами или без) система не загружается, по экрану быстро и бесконечно бегут строки "pcie bus error severity=corrected type=physical layer".

фото и скрины
https://yadi.sk/d/7bfKHFJW3NCU3q

rig001@ubuntu:~$ lspci
00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev                                                                                          07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                                                          67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 P                                                                                         CI Express Gigabit Ethernet Controller (rev 15)
rig001@ubuntu:~$

[Bairom]

В общем чего я добился.

1. проблема с интернетом решена
- в grub внес следующие изменения GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0" 
- sudo nano /etc/network/interfaces изменил на следующие:
                      auto eth0
                      iface eth0 inet dhcp

2.проблема с определением расширителя тоже решена
- в grub внес следующие изменения sudo nano  GRUB_CMDLINE_LINUX="text pci=nomsi"


в итоге получилось GRUB_CMDLINE_LINUX="net.ifnames=0 biosdevname=0 text pci=nomsi"





ОСТАЛАСЬ 1 ПРОБЛЕМА: "Не видит карты подключенные через второй расширитель"

Количество карт определяемое max 9 шт. (5шт. в материнской плате + 4шт. через расширитель)

Выяснил следующие:
- если поменять расширитель на второй - работает - следовательно второй расширитель рабочий!
- вариации подключения расширителей к материнской плате - результат нулевой
- установил 5 разных ядер, включая последнее, не стабильное - результат нулевой
- если подключить 1 карту через расширитель, а не непосредственно в материнскую плату, тем самым сделать общее количество карт 9 шт. Видит только 8 шт.

Следовательно я делаю вывод, что "ubuntu server" не видит второй расширитель. Хотя на "ubuntu" два расширителя работали вместе на тех же ядрах, но максимально количество карт не превышало 7 шт. в любых комбинациях. Из чего следует, что два расширителя должны работать вместе !!!

ВОПРОС: почему "ubuntu server" не видит второй расширитель?
Пользователь добавил сообщение 28 Сентября 2017, 01:52:35:rig001@ubuntu:~$ sudo lshw -c video

(Нажмите, чтобы показать/скрыть)

  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:01:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: irq:16 memory:e0000000-efffffff memory:f0000000-f01fffff ioport:e000(size=256) memory:f7e00000-f7e3ffff memory:c0000-dffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:03:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2fe0000000-2fefffffff memory:2ff0000000-2ff01fffff ioport:d000(size=256) memory:f7d00000-f7d3ffff memory:f7d40000-f7d5ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:05:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:19 memory:2fc0000000-2fcfffffff memory:2fd0000000-2fd01fffff ioport:c000(size=256) memory:f7c00000-f7c3ffff memory:f7c40000-f7c5ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:06:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2fa0000000-2fafffffff memory:2fb0000000-2fb01fffff ioport:b000(size=256) memory:f7b00000-f7b3ffff memory:f7b40000-f7b5ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:09:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:18 memory:2f80000000-2f8fffffff memory:2f90000000-2f901fffff ioport:9000(size=256) memory:f7900000-f793ffff memory:f7940000-f795ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:0a:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2f60000000-2f6fffffff memory:2f70000000-2f701fffff ioport:8000(size=256) memory:f7800000-f783ffff memory:f7840000-f785ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:0b:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:18 memory:2f40000000-2f4fffffff memory:2f50000000-2f501fffff ioport:7000(size=256) memory:f7700000-f773ffff memory:f7740000-f775ffff
  *-display
       description: VGA compatible controller
       product: Advanced Micro Devices, Inc. [AMD/ATI]
       vendor: Advanced Micro Devices, Inc. [AMD/ATI]
       physical id: 0
       bus info: pci@0000:0c:00.0
       version: cf
       width: 64 bits
       clock: 33MHz
       capabilities: pm pciexpress msi vga_controller bus_master cap_list rom
       configuration: driver=amdgpu latency=0
       resources: iomemory:2f0-2ef iomemory:2f0-2ef irq:16 memory:2f20000000-2f2fffffff memory:2f30000000-2f301fffff ioport:6000(size=256) memory:f7600000-f763ffff memory:f7640000-f765ffff
rig001@ubuntu:~$

Пользователь добавил сообщение 28 Сентября 2017, 01:55:33:rig001@ubuntu:~$ lspci

(Нажмите, чтобы показать/скрыть)

00:00.0 Host bridge: Intel Corporation Sky Lake Host Bridge/DRAM Registers (rev 07)
00:01.0 PCI bridge: Intel Corporation Sky Lake PCIe Controller (x16) (rev 07)
00:14.0 USB controller: Intel Corporation Device a2af
00:16.0 Communication controller: Intel Corporation Device a2ba
00:17.0 SATA controller: Intel Corporation Device a282
00:1b.0 PCI bridge: Intel Corporation Device a2e7 (rev f0)
00:1b.4 PCI bridge: Intel Corporation Device a2eb (rev f0)
00:1c.0 PCI bridge: Intel Corporation Device a290 (rev f0)
00:1c.3 PCI bridge: Intel Corporation Device a293 (rev f0)
00:1c.4 PCI bridge: Intel Corporation Device a294 (rev f0)
00:1c.5 PCI bridge: Intel Corporation Device a295 (rev f0)
00:1c.6 PCI bridge: Intel Corporation Device a296 (rev f0)
00:1c.7 PCI bridge: Intel Corporation Device a297 (rev f0)
00:1d.0 PCI bridge: Intel Corporation Device a298 (rev f0)
00:1f.0 ISA bridge: Intel Corporation Device a2c5
00:1f.2 Memory controller: Intel Corporation Device a2a1
00:1f.3 Audio device: Intel Corporation Device a2f0
00:1f.4 SMBus: Intel Corporation Device a2a3
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
03:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
06:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
06:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
07:00.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:01.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:03.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:05.0 PCI bridge: ASMedia Technology Inc. Device 1184
08:07.0 PCI bridge: ASMedia Technology Inc. Device 1184
09:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
09:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0a:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0a:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0b:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0b:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0c:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
0c:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
0e:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
rig001@ubuntu:~$

[Punko]

Bairom, реально не думаю, что тут могут помочь с такими запросами.

[DimanBG]

реально не думаю, что тут могут помочь с такими запросами.

Там мат. плата не предназначена для таких целей, которые у ТС. Видит или не видит, - это не значит, что будет работать. Максимум производительности можно добиться с картой в первом 16х слоте и дополнительно во 2-м с 4 линиями, при условии, что ЦП 20 линий поддерживает.

[EvangelionDeath]

Вопрос: В чем может быть проблема?

Ну Вы естественно технические характеристики процессора не читали, да и сам процессор тоже не указали.
Смею предположить, что это i7-6970HQ, так там всего 16 каналов PCIe (Up to 1x16, 2x8, 1x8+2x4). В какие слоты и что вы вставляли - я не в курсе. Можете сами поразбираться.
Для вашего случая надо i7-78XX (28 каналов) или i-9-79XX (44 канала)



Пользователь добавил сообщение 29 Сентября 2017, 10:27:19:

Максимум производительности можно добиться с картой в первом 16х слоте и дополнительно во 2-м с 4 линиями, при условии, что ЦП 20 линий поддерживает

У него Intel. А потому линий или 16, или 28 или 44. Но пока ТС не скажет, что у него там, мы будем гадать на кофейной гуще

P.S. А не проще было поставить AMD FirePro™ S9150

[Bairom]

Процессор Intel Celeron G3930
Пользователь добавил сообщение 29 Сентября 2017, 10:30:39:"Но пока ТС не скажет, что у него там, мы будем гадать на кофейной гуще" что такое ТС ?

[EvangelionDeath]

PCI Express Configurations ‡ Up to 1x16, 2x8, 1x8+2x4
Max # of PCI Express Lanes 16

Итого: ну никак вы не заведете все 12 (максимум 8 должно было быть, хотя зависит от того, в какие порты и что вы понапихивали).

Как я выше там писал:
Для вашего случая надо i7-78XX (28 каналов) или i-9-79XX (44 канала) (в первом не уверен ибо только 12 каналов "свободных" на 5 карт)...