Падает mysql.

[saifuddin]

Доброго времени суток!
У меня стоит mariadb 10.1, RAM 8G
Когда через PHP посылают большой POST запрос через PHP, то, у меня выключается mysql.
В логах ни чего не писалось. Только одно было замечено в логах.

Код: [Выделить]

key_buffer_size=536870912
read_buffer_size=2097152
max_used_connections=3
max_threads=602
thread_count=20
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 4235319 K  bytes of memory

Уже и не знаю, куда смотреть.
Эти значения менял на более низкие, да же в трое меньше ставил, все равно у меня выключается ДБ после запроса к ней.

Поставил на свою машину(домашнюю), там 12 оперативы и, когда вызываю этот большой запрос. То, в консоли браузера появляется:

Код: [Выделить]

POTS /путь/до/файла   500 (Internal Server Error)Это сообщение не появляется на сервере. Да и на домашнем компе, mysql не ложится, он просто не записывает ни чего в базу.
Везде одинаковая настройка, как mysql,apache2,nginx да же настройку sysctl.conf одинаковой сделал.
Подскажите, куда копать дальше?

[AnrDaemon]

Копать в сторону отладки своих скриптов. Запросы в базу сами не попадают.
Ни POST, ни GET.

[saifuddin]

Запросы я сам делаю.
В сервисе можно загружать контент(html+css), он потом помещается в базу данных, а потом выдается клиенту по запросу.

[AnrDaemon]

Ну вот займитесь отладкой своих запросов.

[saifuddin]

Проблема именно в настройках базы данных. Так, как при объединении строк в таблице, происходит выключение ее.
То, есть у нее не хватает памяти и она вырубается.
Подскажите на какие парамметры нужно обратить внимание?

(Нажмите, чтобы показать/скрыть)

mysqld got signal 6 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
To report this bug, see https://mariadb.com/kb/en/reporting-bugs
We will try our best to scrape up some info that will hopefully help
diagnose the problem, but since we have already crashed,
something is definitely wrong and this may fail.
Server version: 10.1.17-MariaDB-1~jessie
key_buffer_size=536870912
read_buffer_size=2097152
max_used_connections=3
max_threads=602
thread_count=12
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 4235319 K  bytes of memory
Hope that's ok; if not, decrease some variables in the equation.
Thread pointer: 0x0x7efb7334c008
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
/usr/sbin/mysqld(my_print_stacktrace+0x2e)[0x7f1a343aea2e]
/usr/sbin/mysqld(handle_fatal_signal+0x2d5)[0x7f1a33eea905]
/lib/x86_64-linux-gnu/libpthread.so.0(+0x10eb0)[0x7f1a33515eb0]
/lib/x86_64-linux-gnu/libc.so.6(gsignal+0x38)[0x7f1a31592198]
/lib/x86_64-linux-gnu/libc.so.6(abort+0x16a)[0x7f1a3159361a]
/usr/sbin/mysqld(+0x7d6e74)[0x7f1a3411ee74]
/usr/sbin/mysqld(+0x7db5e3)[0x7f1a341235e3]
/usr/sbin/mysqld(+0x7dc6df)[0x7f1a341246df]
/usr/sbin/mysqld(+0x7bbf95)[0x7f1a34103f95]
/usr/sbin/mysqld(+0x709db3)[0x7f1a34051db3]
/usr/sbin/mysqld(_ZN7handler13ha_update_rowEPKhPh+0x44a)[0x7f1a33ef517a]
/usr/sbin/mysqld(_Z12mysql_updateP3THDP10TABLE_LISTR4ListI4ItemES6_PS4_jP8st_ordery15enum_duplicatesbPySB_+0x152c)[0x7f1a33e01a4c]
/usr/sbin/mysqld(_Z21mysql_execute_commandP3THD+0x34ba)[0x7f1a33d61f4a]
/usr/sbin/mysqld(_Z11mysql_parseP3THDPcjP12Parser_state+0x26e)[0x7f1a33d67d8e]
/usr/sbin/mysqld(+0x420589)[0x7f1a33d68589]
/usr/sbin/mysqld(_Z16dispatch_command19enum_server_commandP3THDPcj+0x16ec)[0x7f1a33d6a1fc]
/usr/sbin/mysqld(_Z10do_commandP3THD+0x16e)[0x7f1a33d6ae3e]
/usr/sbin/mysqld(_Z24do_handle_one_connectionP3THD+0x182)[0x7f1a33e35312]
/usr/sbin/mysqld(handle_one_connection+0x40)[0x7f1a33e354d0]
/lib/x86_64-linux-gnu/libpthread.so.0(+0x7444)[0x7f1a3350c444]
/lib/x86_64-linux-gnu/libc.so.6(clone+0x6d)[0x7f1a3164620d]
Connection ID (thread ID): 26
Status: NOT_KILLED
Optimizer switch: index_merge=on,index_merge_union=on,index_merge_sort_union=on,index_merge_intersection=on,index_merge_sort_intersec$
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.
mariadb.service: main process exited, code=exited, status=1/FAILURE
Unit mariadb.service entered failed state.

Вот вся ошибка в развернутом виде.

[Sergiy17]

У меня была похожая проблема с нехваткой памяти, только тогда на сервере было 1024 Мб ОЗУ. Заменил InnoDB на MySIAM и отключил этот движок, все стало работать. Но может лучше посмотреть что занимает всю память.

[AnrDaemon]

Проблема именно в настройках базы данных.

Кто вам это сказал?…

key_buffer_size=536870912
read_buffer_size=2097152
max_used_connections=3
max_threads=602
thread_count=12

Код: [Выделить]

# bin/my-stats.sh
+------------------------------------------+--------------------+
|                          key_buffer_size |          16.000 MB |
|                         query_cache_size |          16.000 MB |
|                  innodb_buffer_pool_size |          32.000 MB |
|          innodb_additional_mem_pool_size |           8.000 MB |
|                   innodb_log_buffer_size |           8.000 MB |
+------------------------------------------+--------------------+
|                              BASE MEMORY |          80.000 MB |
+------------------------------------------+--------------------+
|                         sort_buffer_size |           2.000 MB |
|                         read_buffer_size |           0.125 MB |
|                     read_rnd_buffer_size |           0.250 MB |
|                         join_buffer_size |           0.500 MB |
|                             thread_stack |           0.188 MB |
|                        binlog_cache_size |           0.031 MB |
|                           tmp_table_size |           4.000 MB |
+------------------------------------------+--------------------+
|                    MEMORY PER CONNECTION |           7.094 MB |
+------------------------------------------+--------------------+
|                     Max_used_connections |                 50 |
|                          max_connections |                 60 |
+------------------------------------------+--------------------+
|                              TOTAL (MIN) |         434.688 MB |
|                              TOTAL (MAX) |         505.625 MB |
+------------------------------------------+--------------------+И это сервер, раздающий семь сравнительно часто посещаемых сайтов. (До 300 уникальных посетителей в час в пиках… на каждый сайт.)

[saifuddin]

AnrDaemon, спасибо за ваш ответ.
Скажите, а какой средний размер страницы(сайта) помещался в БД? Все разносилось но разным ячейкам или хранилось в одной?
Да, и сколько оперативной памяти у вас было?
Пользователь добавил сообщение 26 Сентября 2016, 09:33:55:Sergiy17, вероятнее всего ваш ответ самый правильный. Такой же ответ давали и на многих других английских сообществах. Для Innodb нужно много памяти, для работы с большими данными (при условии, что большой объем данных заносится в одну ячеку). Я эти ответы видел, но из-за того, что дата поста была в среднем между 2004-2009годами, я решил, что уже что-то изменилось и нашли другое решение. Видимо пока не нашли. Innodb очень хороша с не большими объемами данных (исключительно в одной ячейке в БВ) иначе нужно будет много оперативы, чтобы работало.
Пользователь добавил сообщение 26 Сентября 2016, 09:35:56:Sergiy17, в моем случае, нужно будет делать проектирование, а именно, все хранить в Innodb, а те запросы, которые хранятся по несколько mb(в среднем это от 20-50mb), нужно будет выносить на другую базу данных где будет MySIAM

[AnrDaemon]

Страницы в БД не помещаются. Помещаются статьи. 100-200Кб. И почему было? Есть - 1Gb.

[saifuddin]

Видите, "Помещаются статьи. 100-200Кб" столько и меня помещается и работает, поместите в ячейку 3мб и попробуйте хотя бы select этого в браузере сделать, у вас выключится БД.

[AnrDaemon]

Во-первых, 3Mb не влезет ни в одну ячейку таблицы.
Во-вторых, загрузка 300-метрового дампа БД прошла без проблем. Неделю назад новый сайт подключали.

[saifuddin]

A TEXT column with a maximum length of 4,294,967,295 or 4GB (2³² − 1) characters. The effective maximum length is less if the value contains multibyte characters. The effective maximum length of LONGTEXT columns also depends on the configured maximum packet size in the client/server protocol and available memory. Each LONGTEXT value is stored using a 4-byte length prefix that indicates the number of bytes in the value.

Пользователь добавил сообщение 26 Сентября 2016, 13:45:50:

Во-вторых, загрузка 300-метрового дампа БД прошла без проблем. Неделю назад новый сайт подключали.

Там все исчисляется в гигабайтах. И, да все проходит отлично.

[AnrDaemon]

Ну вот и чините свои запросы. Положить можно любой сервер с любыми настройками.
Пользователь добавил сообщение 26 Сентября 2016, 15:22:15:Да, если интересно, my-stats.sh

Код: (bash) [Выделить]

#!/bin/sh

/usr/bin/mysql --defaults-extra-file=/etc/mysql/debian.cnf -e "SHOW VARIABLES; SHOW STATUS;" | awk '
{
 VAR[$1]=$2
}
END {
 MAX_CONN = VAR["max_connections"]
 MAX_USED_CONN = VAR["Max_used_connections"]
 BASE_MEM=VAR["key_buffer_size"] + VAR["query_cache_size"] + VAR["innodb_buffer_pool_size"] + VAR["innodb_additional_mem_pool_size"] + VAR["innodb_log_buffer_size"]
 MEM_PER_CONN=VAR["read_buffer_size"] + VAR["read_rnd_buffer_size"] + VAR["sort_buffer_size"] + VAR["join_buffer_size"] + VAR["binlog_cache_size"] + VAR["thread_stack"] + VAR["tmp_table_size"]
 MEM_TOTAL_MIN=BASE_MEM + MEM_PER_CONN*MAX_USED_CONN
 MEM_TOTAL_MAX=BASE_MEM + MEM_PER_CONN*MAX_CONN

 printf "+------------------------------------------+--------------------+\n"
 printf "| %40s | %15.3f MB |\n", "key_buffer_size", VAR["key_buffer_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "query_cache_size", VAR["query_cache_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "innodb_buffer_pool_size", VAR["innodb_buffer_pool_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "innodb_additional_mem_pool_size", VAR["innodb_additional_mem_pool_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "innodb_log_buffer_size", VAR["innodb_log_buffer_size"]/1048576
 printf "+------------------------------------------+--------------------+\n"
 printf "| %40s | %15.3f MB |\n", "BASE MEMORY", BASE_MEM/1048576
 printf "+------------------------------------------+--------------------+\n"
 printf "| %40s | %15.3f MB |\n", "sort_buffer_size", VAR["sort_buffer_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "read_buffer_size", VAR["read_buffer_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "read_rnd_buffer_size", VAR["read_rnd_buffer_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "join_buffer_size", VAR["join_buffer_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "thread_stack", VAR["thread_stack"]/1048576
 printf "| %40s | %15.3f MB |\n", "binlog_cache_size", VAR["binlog_cache_size"]/1048576
 printf "| %40s | %15.3f MB |\n", "tmp_table_size", VAR["tmp_table_size"]/1048576
 printf "+------------------------------------------+--------------------+\n"
 printf "| %40s | %15.3f MB |\n", "MEMORY PER CONNECTION", MEM_PER_CONN/1048576
 printf "+------------------------------------------+--------------------+\n"
 printf "| %40s | %18d |\n", "Max_used_connections", MAX_USED_CONN
 printf "| %40s | %18d |\n", "max_connections", MAX_CONN
 printf "+------------------------------------------+--------------------+\n"
 printf "| %40s | %15.3f MB |\n", "TOTAL (MIN)", MEM_TOTAL_MIN/1048576
 printf "| %40s | %15.3f MB |\n", "TOTAL (MAX)", MEM_TOTAL_MAX/1048576
 printf "+------------------------------------------+--------------------+\n"
}'