Тотальное кэширование дисковых операций

[zav]

Здравствуйте.

Сервера базы данных Postgresql, а в особенности DB2 как то умудряются обходить async на разделах, а так же всяческие dirty параметры в /proc/sys/vm... т.е. при свободной памяти, которая могла бы быть использована для кэширования записи на диск эти программы таки пишут что-то на диск.

Какие параметры подкрутить в системе, чтобы у программ не было возможности обойти кэш записи?

Задача: тотальное кэширование записи на диск пока хватает памяти. RAM-диски не предлагать.

[Lifewalker]

Вы слышали что-нибудь о надёжности хранения данных? Если да, то вопрос странен, если нет, то рекомендую познать основное отличие СУБД от файловой системы в отношении надёжности.

[zav]

Надежность не предлагать.   

[Sly_tom_cat]

Надежность не предлагать.   

Нормальная BD просто не позволит вам сделать ее ненадежной. Т.е. надежность не отключить. Хотите вы того или нет - не важно.

[zav]

"Если да, то вопрос странен..."

Нормальная BD просто не позволит вам сделать ее ненадежной. Т.е. надежность не отключить. Хотите вы того или нет - не важно.

Я так думаю, что прежде чем отвечать на мои вопросы, действительно, необходимо было меня ознакомить с возможными последствиями, а так же всех, кто будет это читать.

ВКЛЮЧЕНИЕ АГРЕССИВНОГО КЭШИРОВАНИЯ МОЖЕТ ПРИВЕСТИ К ПОТЕРЕ ДАННЫХ ИЛИ КРАХУ СИСТЕМЫ! НЕ УВЕРЕН - НЕ ВКЛЮЧАЙ! ЗАЩИТИТЕ ДЕТЕЙ ОТ КЭШИРОВАНИЯ! АГРЕССИВНОЕ КЭШИРОВАНИЕ БАЗ ДАННЫХ - ПРИЧИНА БОЛЕЗНЕЙ СЕРДЦА. МИНЗДРАВ ПРЕДУПРЕЖДАЕТ - КЭШИРОВАНИЕ ОПАСНО ДЛЯ ЗДОРОВЬЯ БАЗЫ ДАННЫХ!

Да в курсе я. Поехали дальше.

Можно чисто теоретически мне помочь? Вопрос ведь по сути о Linux системах в целом, т.е. могу ли я если захочу "настроить все так как мне надо"?

[alecsartania]

А это не var/log утебя пишется часто ? - настрой syslog чтобы лишнего не писалось когда отладка закончена уже.
rc.local:
mount -o remount,noatime,commit=30 /dev/sda6

[zav]

А это не var/log утебя пишется часто ? - настрой syslog чтобы лишнего не писалось когда отладка закончена уже.
rc.local:
mount -o remount,noatime,commit=30 /dev/sda6

Да вроде поотрубал, например в постри - fsync = off, archive_mode = off, logging_collector = off, ну и wal_writer_delay = 10000ms, commit_delay = 100000, bgwriter_delay = 10000ms ;-) Пофигу. 300-400 кб/сек пишет перманентно...

Насчет commit=30 - вот это уже интересней. Это на ext3/4? Для XFS свои приколы?

[Sly_tom_cat]

А у вас файловая система то какая?

[Lifewalker]

Надежность не предлагать.  

Одним из фундаментальных критериев работы СУБД является надёжность хранения, посему любая правильная СУБД будет пытаться обеспечить её любыми средствами. Если надёжность не нужна, то нафига вам СУБД?

Вы поймите простую вещь: надёжность хранения это не блажь разработчиков, она жизненно важна в том числе и для функционирования внутренних механизмов самой СУБД. Вы спрашиваете здесь примерно как если бы на форуме ... ну не знаю.. медиков спросили "как мне вырубить у себя сердце?". Не ну вы знаете, что это потенциально опасно, но ради прикола, как мне вырубить у себя сердце? 

[zav]

А у вас файловая система то какая?

EXT2 и XFS,  какую надо? ;-) Могу сделать любую.
Пользователь решил продолжить мысль 23 Сентября 2010, 10:46:59:

[медиков спросили "как мне вырубить у себя сердце?"

Именно. Я уже жирными большими буквами написал предупреждение. Что еще сделать? ;-)

[alexander.pronin]

EXT2 и XFS,  какую надо? ;-) Могу сделать любую.

Для БД надо журналируемую обязательно.
ЗЫ. Если побаловаться, то можно любую.
ЗЫ2.
Подарю идею.
Делается fifo, в который записываются sql.
Некий демон или программа выполняет их.
Тем самым, программы формирующие sql не тормозят и обеспечивается более равномерный трафик работы с БД.

[zav]

EXT2 и XFS,  какую надо? ;-) Могу сделать любую.

Для БД надо журналируемую обязательно.
ЗЫ. Если побаловаться, то можно любую.

Я к тому, что какую надо, чтобы тотально кэшировать. Ext2 у меня для проверки стоит...

[Lifewalker]

Для БД надо журналируемую обязательно.

Вы не поняли ТСу не нужна надёжность, он хочет СУБД без целостности и прочего. Стало быть кроме FAT использовать ничего не нужно. ИМХО, конечно...

[alecsartania]

EXT2 и XFS,  какую надо? ;-) Могу сделать любую.

ПО МОЕМУ ЭТО ВЫШЕ FS УРОВЕНЬ.
у меня стоит mount -o remount,noatime,commit=30 /
10 лет как(правда в разных ипостасиях.). На ext3 был один случай невовремя вырубленного питания пришлось чекаться с флешки.  На jfs и hpfs само все чекалось при загрузке. Xfs ваще по-моему к этому индифферентна.
p.s. не слушай никого , кеширование это в конце концов бОльшая гаранития сохранности данных нежели убийство винта полностью частыми seek-ами.
p.p.s. многолетний опыт эксплуатации db2 , Oracle. а  пионеры пусть и дальше  чужие мнения пересказывают друг другу.

[alexander.pronin]

Точно,точно. Никого не надо слушать.
Пионеры еще рэйды и юпсы ставят.