_POSIX_THREAD_THREADS_MAX 64. как увеличить?

[pethead]

создаю многопоточное приложение.
не дает создавать много потоков.
нашел что есть такой (задается в usr\include\bits\local_lim.h) _POSIX_THREAD_THREADS_MAX задает кол-во потоков на процесс. задано 64. как увеличить? просто вписать и пересобрать приложение?

а всякие там сервера как работают с 16тыщами потоков?
в Windows легко дает 1245 потоков на процесс! неужели linux сосет?

[mkarasik]

Что значит не дает? Какую ошибку возвращает?
Раньше была проблемма с размером стека. Решалось чем то вроде

Код: [Выделить]

ulimit -s 1024

[pethead]

в момент запуска потока выдает resource temporarily unavailable.
как какои именно по счету потоке это выдает пока не обратил внимания. счетчик прикручу гляну.

на счет стека уже так:

ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 20
file size               (blocks, -f) unlimited
pending signals                 (-i) 16382
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

исправил на 1024.
теперь выдает на потоке №210 (а мне надо хотя бы пару тыщ)

GLib-ERROR **: Cannot create pipe main loop wake-up: Слишком много открытых файлов

aborting...
Аварийный останов

[Yurror]

Думаю всякие там сервера не работают с "16тыщами" потоков.
Почитай man epoll

[maximum2000]

Может быть Nvidia CUDA или OpenCL? 

[pethead]

и это все что можно услышать от мастеров Linuxа?
ладно. обращусь к буржуям, там толерантней народец.

[maximum2000]

и это все что можно услышать от мастеров линукса?
ладно. обращусь к буржуям, там толерантней народец.

Грубо и не по адресу.

Для начала, я не мастер линукса и тем более НЕ телепат..

покажи код, который создает "много потоков".... тогда уже тема для разговора будет ! 
Пользователь решил продолжить мысль 17 Ноября 2010, 19:19:28:+ статья "An API for Programming with Millions of Lightweight Threads" заставляет задуматься о эффективности такого решения на 1-4 ядерных процессорах и посмотреть в сторону CUDA (зависит от Вашей задачи конечно)
(это PDF файл, находится любым поисковиком....)

[pethead]

зачем мне CUDA (если бы еще знать что это), когда мое приложение в винде (не вебсервер), создает более 1000 потоков влегкую (и это не предел), на обычном пентиуме, процессор тут не при чем, главное что ОС сумела это все создать. мне не надо миллионы, мне пару тыщ.
а мне надо систему переписать под linux, вот и попробовал дла начала наплодить потоки, а хрен.
может конечно я ошибся с дистрибутивом, пробую на обычной убунте, может нужна серверная сборка? но веьд Windows не серверная, а обычная хрюша.

[maximum2000]

1. Читай статью.....
2. Обозначь задачу, для которой создается тысячи потоков
3. Код в студию....

[Mam(O)n]

Ну а разве

GLib-ERROR **: Cannot create pipe main loop wake-up: Слишком много открытых файлов

не упирается в

open files                      (-n) 1024

[pethead]

в Windows код работает и дает от процесса 1200 потоков (если верить дисптечеру задач то 1204), в Linuxе код сваливается с сообщением
QThread::start: Thread creation error: Ресурс временно недоступен.
если задать стек 1024 то сваливается в
...
557
GLib-ERROR **: Cannot create pipe main loop wake-up: Слишком много открытых файлов

Код: [Выделить]

#include <QtGui>

// ======================================================================
class MyThread : public QThread {
Q_OBJECT
private:
    int m_nValue;

public:
    MyThread() : m_nValue(1000)
    {
    }

    void run()
    {
while (true) {
msleep(m_nValue);
//qDebug() <<  QThread::currentThreadId();

}
    }
};

// ----------------------------------------------------------------------
int main(int argc, char** argv)
{
    QApplication app(argc, argv);

    MyThread     *thread;

    for (int i=0;i<1201;++i){
thread=new MyThread();
   thread->start();
qDebug() << i;
}
 
    return app.exec();
}

#include "main.moc"



[maximum2000]

Ok. Сегодня попробую запустить у себя......

[Yurror]

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

/*
 * File:   main.c
 * Author: yurik
 *
 * Created on 18 Ноябрь 2010 г., 11:39
 */

#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
#include <signal.h>

#define NUM_THREADS     5000

volatile int while_condition = 1;

void sig_handler(int signal)
{
    while_condition = 0;
}

void *do_work(void *ptr) {
    size_t i = (size_t)ptr;
    while (while_condition) {
        sleep(1);
    }
    pthread_exit(NULL);
}

int main(int argc, char** argv) {
    pthread_t threads[NUM_THREADS];
    pthread_attr_t attr;
    void *ptr;
    size_t i;
    
    signal(SIGINT, sig_handler);

    /* Initialize and set thread detached attribute */
    pthread_attr_init(&attr);
    pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_JOINABLE);

    for (i = 0; i < NUM_THREADS; ++i)
    {
        printf("In main: creating thread %ld\n", i);
        int rc = pthread_create(&threads[i], &attr, do_work, (void *)i);
        if (rc) {
            printf("ERROR; return code from pthread_create() is %d\n", rc);
            exit(-1);
        }
    }

    /* Free attribute and wait for the other threads */
    pthread_attr_destroy(&attr);

    for (i = 0; i < NUM_THREADS; ++i)
    {
        int rc = pthread_join(threads[i], &ptr);
        if (rc) {
            printf("ERROR; return code from pthread_join() is %d\n", rc);
            exit(-1);
        }
        printf("In main: stopped thread %ld\n", i);
    }

    return (EXIT_SUCCESS);
}


Код: [Выделить]

yurik@ubuntu:~/work/ThreadTest$ ulimit -u
unlimited
yurik@ubuntu:~/work/ThreadTest$ ./dist/Debug/GNU-Linux-x86/threadtest
In main: creating thread 0
In main: creating thread 1
...
In main: creating thread 4998
In main: creating thread 4999
^Z
[1]+  Остановлено  ./dist/Debug/GNU-Linux-x86/threadtest
yurik@ubuntu:~/work/ThreadTest$ cat /proc/18267/status | grep Threads
Threads: 5001
yurik@ubuntu:~/work/ThreadTest$ fg
./dist/Debug/GNU-Linux-x86/threadtest
^C
In main: stopped thread 0
In main: stopped thread 1
...
In main: stopped thread 4998
In main: stopped thread 4999
yurik@ubuntu:~/work/ThreadTest$  echo $?
0
yurik@ubuntu:~/work/ThreadTest$
Что я делаю не так?

Надо учитывать что на каждый поток выделяется довольно большой стек. Может попросту не хватить памяти. Можно управлять размером стека.
Помоему все проблемы от неумения пользоваться фреймворком.

P.S. а про epoll таки прочитай. (Linux - epoll, *BSD - kqueue, win - IOCP)

[maximum2000]

(Нажмите, чтобы показать/скрыть)

679
GLib-ERROR **: Cannot create pipe main loop wake-up: Слишком много открытых файлов
aborting...
GLib-ERROR **: Cannot create pipe main loop wake-up: Слишком много открытых файлов
aborting...
Программа неожиданно завершилась.
/home/maximum2000/ttest/ttest завершился с кодом 0

Да, проблема,........ и похоже в QT

любопытно, что создается разное количество (5ХХ, 6хх, 7хх) до появления ошибки.

далее 2 варианта - 1. читать статью указанную выше 2. или делать как Yurror....

[pethead]

"Помоему все проблемы от неумения пользоваться фреймворком."
научи. это пример из книжки по Qt.
мой код пробовал? не работает у тебя?