12 GPU

[maks05]

"Но пока ТС не скажет, что у него там, мы будем гадать на кофейной гуще" что такое ТС ?

ТС - Топик Стартер,то есть вы, Bairom.

[Bairom]

PCI Express Configurations ‡ Up to 1x16, 2x8, 1x8+2x4
Max # of PCI Express Lanes 16

Итого: ну никак вы не заведете все 12 (максимум 8 должно было быть, хотя зависит от того, в какие порты и что вы понапихивали).

Как я выше там писал:
Для вашего случая надо i7-78XX (28 каналов) или i-9-79XX (44 канала) (в первом не уверен ибо только 12 каналов "свободных" на 5 карт)...

если подключить 8 gpu только через расширители 2 шт по 4 gpu. видит только 4 gpu с первого расширителя.
это означает, что проблема не процессоре, а в том что ОС видит только 1 расширитель из 2-х. В этом вся проблема!
ранее я писал, что в отличии от ubuntu server на Ubuntu Desktop 2 расширителя работали вместе. Следовательно проблема в ubuntu server. точнее проблема во том что я не знаю как настроить что бы было видно 2-й расширитель.

когда получится увидеть 2 расширитель, но при этом не будет видно 12 gpu, тогда я и задумаюсь о покупке процессора стоимостью за 20000р. а пока что прежде чем менять двигатель в машине которая не заводиться, хочу попробовать залить в нее бензин или зарядить аккумулятор...

если у кого есть мысли что можно попробовать настроить, буду безмерно благодарен... т.к. у меня больше мыслей не осталось.. если нет, то просто пожелаете мне удачи)


Если кому то поможет разобраться содержимое команды  lspci -vv, что бы помочь разобраться мне, его можно скачать по ссылке
https://yadi.sk/d/7bfKHFJW3NCU3q

[EvangelionDeath]

Забавный вы однако
Считать вообще умеете? Может подскажите на каких шинах у вас работал звук, сеть (да и работает)?

Могу дать маленькую подсказку и тогда может и заработает 12 - отключить аудио девайсы на видяхах

[Bairom]

Могу дать маленькую подсказку и тогда может и заработает 12 - отключить аудио девайсы на видяхах

а как это сделать? в биос аудио я отключил

[EvangelionDeath]

Bairom, В БИОС (а точнее UEFI) вы отключили аудиустройство самой материнки. А вот на видяхах тоже оно есть, на каждой.
Пример
05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0

Попробуйте добавить
radeon.audio=0
в параметры загрузки ядра

[Bairom]

05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0

так вот да! хотел отключить их для эксперимента, но не понимал что это вообще такое. просто я не знаю как отключить их. сориентируете?

[Morisson]

что такое ТС ?

))) Товарисч)))
Шучу. ТопикСтартер

[Bairom]

Попробуйте добавить
radeon.audio=0
в параметры загрузки ядра

Я так понимаю в строку GRUB_CMDLINE_LINUX загрузчика grub ?
если да то не прокатило.

кстати установил Ubuntu Desktop 16.04.3 второй расширитель заработал... вот как заставить его работать на Ubuntu server 16.04.3 ?

[maks05]

Bairom, не загрузчика, а ядра. А не много ли хлопот? Поставьте Ubuntu Desktop 16.04.3 вместо Server, раз всё работает, и не мучайтесь.

[Bairom]

Bairom, не загрузчика, а ядра. А не много ли хлопот? Поставьте Ubuntu Desktop 16.04.3 вместо Server, раз всё работает, и не мучайтесь.

1.5 месяца пытаюсь запустить сначала одно потом другое вот добрался до этого... на ubuntu server определяет 9 карт, а на Ubuntu Desktop 7.

[Morisson]

GRUB_CMDLINE_LINUX

Да. В загрузчике в этой строке прописываются параметры ядра. После этого

Код: [Выделить]

sudo update-grubнужно сделать

[Bairom]

сделал

GRUB_CMDLINE_LINUX_DEFAULT="radeon.audio=0"
GRUB_CMDLINE_LINUX="text pci=nomsi radeon.audio=0"

обновил, перезагрузил

получил

(Нажмите, чтобы показать/скрыть)

0f:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf) (prog-if 00 [VGA controller])
        Subsystem: XFX Pine Group Inc. Device 9470
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 17
        Region 0: Memory at 2f80000000 (64-bit, prefetchable) [size=256M]
        Region 2: Memory at 2f90000000 (64-bit, prefetchable) [size=2M]
        Region 4: I/O ports at 9000 [size=256]
        Region 5: Memory at f7900000 (32-bit, non-prefetchable) [size=256K]
        Expansion ROM at f7940000 [disabled] [size=128K]
        Capabilities: <access denied>
        Kernel driver in use: amdgpu
        Kernel modules: amdgpu

0f:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0
        Subsystem: XFX Pine Group Inc. Device aaf0
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin B routed to IRQ 18
        Region 0: Memory at f7960000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: <access denied>
        Kernel driver in use: snd_hda_intel
        Kernel modules: snd_hda_intel

я так понимаю что аудио осталось на видеокарте

Пользователь добавил сообщение 29 Сентября 2017, 21:57:32:Мужчины! всем ОГРОМНОЕ СПАСИБО за то что нашли время помочь мне !!!

не смотря на то что аудио отключить так и не удалось, 12 gpu встали как родные и на Ubuntu Desktop 16.04.3 и на Ubuntu Server 16.04.3  !!!

последние две недели я пытался понять что в чем дело, а дело было, вопреки известно поговорке, все таки в бобине) хоть эта бобина и работала самостоятельно... В общем поменял один расширитель и все заработало.

rig001@ubuntu:~$ lspci -k | grep -EA2 'VGA|3D'

(Нажмите, чтобы показать/скрыть)

01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
06:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
09:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0a:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0b:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0c:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0f:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
10:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
11:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
12:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device                                                          67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
rig001@ubuntu:~$

1.4. Листинги и содержимое текстовых файлов следует добавлять в сообщение с помощью тегов [spoiler]...[/spoiler] или [code]...[/code], либо прикреплять к сообщению в виде отдельного файла.

~Punko

[Bairom]

В общем радость моя была не долгой... ((

при подключении 12 gpu, Ubuntu их видит, но работают реально только 8. EvangelionDeath был прав! написав:
 

PCI Express Configurations ‡ Up to 1x16, 2x8, 1x8+2x4
Max # of PCI Express Lanes 16

Итого: ну никак вы не заведете все 12 (максимум 8 должно было быть, хотя зависит от того, в какие порты и что вы понапихивали).

Как я выше там писал:
Для вашего случая надо i7-78XX (28 каналов) или i-9-79XX (44 канала) (в первом не уверен ибо только 12 каналов "свободных" на 5 карт)...

сейчас у меня стоит Процессор Intel Celeron G3930

если в BIOS отключить встроенную видео и звуковую карты, то работать начинают 9 gpu.

так же с подсказки EvangelionDeath:

Могу дать маленькую подсказку и тогда может и заработает 12 - отключить аудио девайсы на видяхах

но предложенный метод:

Попробуйте добавить
radeon.audio=0
в параметры загрузки ядра

не отключает Audio device на картах.

мне кажется, если это удастся сделать, то есть шанс, что 12 gpu все таки заработают.

Может кто нибудь помочь советом как это сделать?
Пользователь добавил сообщение 01 Октября 2017, 15:48:17:ПОСЛЕ ПЕРЕЗАГРУЗКИ

сейчас установлено 9 GPU


ROCm видит только 8

(Нажмите, чтобы показать/скрыть)

rig001@ubuntu:~/claymore$ sudo /opt/rocm/bin/rocm-smi
[sudo] password for rig001:


====================    ROCm System Management Interface    ====================
================================================================================
 GPU  DID    Temp     AvgPwr   SCLK     MCLK     Fan      Perf    OverDrive  ECC
  5   67df   47.0c    32.233W  300Mhz   1850Mhz  33.73%   auto      0%       N/A
  3   67df   49.0c    33.232W  300Mhz   1850Mhz  33.73%   auto      0%       N/A
  1   67df   50.0c    30.244W  300Mhz   1850Mhz  33.73%   auto      0%       N/A
  6   67df   52.0c    32.64W   300Mhz   1850Mhz  33.73%   auto      0%       N/A
  4   67df   53.0c    32.23W   300Mhz   1850Mhz  33.73%   auto      0%       N/A
  2   67df   51.0c    34.193W  300Mhz   1850Mhz  33.73%   auto      0%       N/A
  0   67df   34.0c    17.10W   300Mhz   300Mhz   33.73%   auto      0%       N/A
  7   67df   50.0c    29.242W  300Mhz   1850Mhz  33.73%   auto      0%       N/A
================================================================================
====================           End of ROCm SMI Log          ====================

rig001@ubuntu:~/claymore$

и работают только 8


а  lspci -k | grep -EA2 'VGA|3D' видит 9 GPU причем последняя с какой то проблемой

(Нажмите, чтобы показать/скрыть)

rig001@ubuntu:~/claymore$ lspci -k | grep -EA2 'VGA|3D'
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
06:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
09:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0a:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0b:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0c:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev cf)
        Subsystem: XFX Pine Group Inc. Device 9470
        Kernel driver in use: amdgpu
--
0f:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 67df (rev ff)
        Kernel modules: amdgpu
0f:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aaf0 (rev ff)
rig001@ubuntu:~/claymore$

Пользователь добавил сообщение 01 Октября 2017, 15:50:52:Один из счастливчиков, которому удалось запустить 12 GPU, написал:

- "У меня все без плясок запускалось, аудио вроде отключал, больше ничего. Процессор G4400."