Команда make

[Al1en]

Здравствуйте, уважаемые форумчане!
У меня к вам такой вопрос: считает ли команда make с параметром "-j" потоки процессора за ядра? Если конкретнее то к примеру у меня стоит intel core i7-3770k (4 ярда, 8 потоков) соответственно с каким значением я могу использовать параметр "j" -j5 (если не считает потоки + 1) или же -j9 (с учетом потоков +1).

[Pilot6]

С учетом потоков можно. Можете опытным путем проверить скорость сборки ядра.

[Al1en]

т.е. потоки тоже считаются как отдельные ядра получается?

[alsoijw]

Al1en, по собирай что-то крупное, замерь время.

[Al1en]

После того как я сломал gcc в своей предыдущей системе мне как-то боязно теперь что-либо собирать на своей системе. Вот приходится все делать на virtualbox'е, а там не протестить такие нюансы полностью

[alsoijw]

Al1en, как ты мог сломать gcc?

[Al1en]

Начал компилировать Linux FS

[alsoijw]

Al1en, и что произошло?

[Al1en]

При установке очередного пакета он просто отказался компилироваться указывая на отсутствие gcc хотя тот был, переустановке не дала ничего нового кроме потери драйверов nvidia и еще пары пакетов. Вот так вот я и распрощался с Kubuntu.

По поводу вопроса уже разобрался, оказывается потоки считаются за ядра и все ок компилируется

[Pilot6]

Al1en,
Компилироваться будет в любом случае сколько бы ядер вы не указали. Вопрос только в скорости.

[Al1en]

Ну не знаю насчет скорости, но при компиляции с параметром "-j9" у меня идет загрузка полностью всех ядер почти на 100%. Вот сегодня попробовал gentoo поставить и вместо обычных 2 часов компиляция заняла всего 40 мин, а это я считаю уже результат

[Olej]

Ну не знаю насчет скорости, но при компиляции с параметром "-j9" у меня идет загрузка полностью всех ядер почти на 100%. Вот сегодня попробовал gentoo поставить и вместо обычных 2 часов компиляция заняла всего 40 мин, а это я считаю уже результат

тема хорошая, поэтому я дополню детали - может кому-то пригодится:

1. То, что вы называете потоки ядра - это гипертриэдинг: некоторые (не все!) функциональные блоки процессора задублрованы и могут отчасти работать параллельно, т.е. у вас 4 процессора с гипертриэдингом, и не нужно сильно мудрить. Использование гипертриэдинга позворляет иногда (в зависимости от типа задач) повысить производительность ... максимум пишут (в рекламе!) на 30%, реально на 10-20%, иногда на 0% в зависимости от вида задачи. Так что не нужно сильно обольщаться.
Детально тесты и т.д. можете почитать здесь: Параллелизм, конкурентность, многопроцессорность в Linux.

2. Иногда при сборке больших приложений то, что проходит с -j1 (или без -j что то же самое), завершается ошибкой с -j (там идёт распараллеливание fork() на N процессов, и они одновременно обращаются к одним файлам). Это имеет место на сборке некоторых версий kernel.

3. Используйте -j без числа, и make сам попробует использовать максимальное число процессов, доступное на вашем железе.

[ru_kane]

Ну не знаю насчет скорости, но при компиляции с параметром "-j9" у меня идет загрузка полностью всех ядер почти на 100%. Вот сегодня попробовал gentoo поставить и вместо обычных 2 часов компиляция заняла всего 40 мин, а это я считаю уже результат

j9 это черезчур, может сыграть обратный эффект замедляющий скорость компиляции. Вообще, рекомендуется количество ядер + 1.
Ну, иногда можно количество ядер * 2.

[peregrine]

Зачем -j9? -j8, т.к. у тебя 8 потоков, а не 9.

[Olej]

т.е. потоки тоже считаются как отдельные ядра получается?

Не только make, но все механизмы Linux считают гипертриэдинговые потоки как и ядра процессора, см.:

Код: [Выделить]

$ cat /proc/cpuinfo
Только вовлечение этих потоков в вычисления (не только make, но любые) повышает суммарную производительность не на 100%, как если бы это был процессор/ядро, а на 15-20% ... где-то встречалось указание 30% максимум.
Иногда не повышает вовсе, в зависимости от типа вычислительной нагрузки.

Пользователь решил продолжить мысль [time]12 Апрель 2015, 20:58:16[/time]:

j9 это черезчур, может сыграть обратный эффект замедляющий скорость компиляции.

Какой это такой обратный эффекет?
Пользователь решил продолжить мысль [time]12 Апрель 2015, 21:02:11[/time]:

Зачем -j9? -j8, т.к. у тебя 8 потоков, а не 9.

Вообще то говоря, значение параметра -j у make напрямую никак не связан с числом процессоров, ядер, или гипертриэдинговых потоков...
Параметр -j - это то, сколько раз быдет выполнять fork() при своём запуске make - число параллельных процессов, в которые будет выполняться компиляция. Хоть на одном процессоре...

Другой вопрос, какая будет эффективность от соотношения -j и числа доступных процессоров.