10.10 Server. При копировании данных на др. сервер - зависает. [НЕ РЕШЕНО]

[Brunen]

Всем привет!

Есть свежеустановленный Ubuntu Server 10.10 на:

#cat /proc/cpuinfo:

(Нажмите, чтобы показать/скрыть)

processor       : 0
vendor_id       : GenuineIntel
cpu family      : 15
model           : 2
model name      : Intel(R) Pentium(R) 4 CPU 2.40GHz
stepping        : 7
cpu MHz         : 2411.805
cache size      : 512 KB
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 2
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe up pebs bts cid
bogomips        : 4823.61
clflush size    : 64
cache_alignment : 128
address sizes   : 36 bits physical, 32 bits virtual
power management:

# cat /proc/meminfo:

(Нажмите, чтобы показать/скрыть)

MemTotal:        1017176 kB
MemFree:           59580 kB
Buffers:             224 kB
Cached:           680792 kB
SwapCached:            0 kB
Active:           415628 kB
Inactive:         398212 kB
Active(anon):      73248 kB
Inactive(anon):    64404 kB
Active(file):     342380 kB
Inactive(file):   333808 kB
Unevictable:           0 kB
Mlocked:               0 kB
HighTotal:        126920 kB
HighFree:            780 kB
LowTotal:         890256 kB
LowFree:           58800 kB
SwapTotal:       3068924 kB
SwapFree:        3068924 kB
Dirty:                 0 kB
Writeback:             0 kB
AnonPages:        132840 kB
Mapped:            13940 kB
Shmem:              4828 kB
Slab:             127456 kB
SReclaimable:     117968 kB
SUnreclaim:         9488 kB
KernelStack:         768 kB
PageTables:         2020 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     3577512 kB
Committed_AS:     210644 kB
VmallocTotal:     122880 kB
VmallocUsed:        8748 kB
VmallocChunk:     109780 kB
HardwareCorrupted:     0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:       10232 kB
DirectMap2M:      903168 kB

#hdparm /dev/sda:

(Нажмите, чтобы показать/скрыть)

# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads:  124 MB in  3.02 seconds =  41.10 MB/sec
root@earth:~# hdparm -T /dev/sda

/dev/sda:
 Timing cached reads:   894 MB in  2.00 seconds = 446.69 MB/sec

#uname -a:

(Нажмите, чтобы показать/скрыть)

Linux earth 2.6.35-28-generic-pae #49-Ubuntu SMP Tue Mar 1 14:58:06 UTC 2011 i686 GNU/Linux

Разделы:

(Нажмите, чтобы показать/скрыть)

~# mount
/dev/sda1 on / type xfs (rw)
proc on /proc type proc (rw,noexec,nosuid,nodev)
none on /sys type sysfs (rw,noexec,nosuid,nodev)
fusectl on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
none on /dev type devtmpfs (rw,mode=0755)
none on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
none on /dev/shm type tmpfs (rw,nosuid,nodev)
none on /var/run type tmpfs (rw,nosuid,mode=0755)
none on /var/lock type tmpfs (rw,noexec,nosuid,nodev)
none on /var/lib/ureadahead/debugfs type debugfs (rw,relatime)
/dev/sdb1 on /org type xfs (rw)

На нём крутятся:
samba
squid+rejik
dnsmasq(dns+dhcp)
postfix+dovecot-imapd+fetchmai+procmail

Проблема:
При копировании данных на второй сервер размер свободной ОЗУ уменьшается до 15-16 Мб. Соотвественно копирование начинает идти медленно, подвисает.
Копируется на win-машину. Ресурс монтируется так:

Код: [Выделить]

mount.cifs -o iocharset=utf8,username=:),password=:) //192.168.0.2/testshare /media/srv2
На текущий момент система не нагружена. Без перезагрузки со вчерашнего вечера:

Код: [Выделить]

free
             total       used       free     shared    buffers     cached
Mem:       1017176     866848     150328          0        200     605712
-/+ buffers/cache:     260936     756240
Swap:      3068924          0    3068924

Если сейчас начать копирование - останется, как и говорил, 15-16Мб свободной ОЗУ.

Вывод htop с сортировкой по ОЗУ:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

CPU[|                                                                     0.7%]     Tasks: 47 total, 1 running
  Mem[|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||255/993MB]     Load average: 0.00 0.01 0.05
  Swp[                                                                  0/2996MB]     Uptime: 2 days, 20:39:15

  PID USER     PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
  769 proxy     20   0  109M  107M  1872 S  0.0 10.8  1:00.66 (squid)
  891 root      20   0 29840  5620  2148 S  0.0  0.6  0:00.59 /usr/bin/python /usr/bin/fail2ban-server -b -s /var/run/fail2ban/fail2ban.sock
  892 root      20   0 29840  5620  2148 S  0.0  0.6  0:20.23 /usr/bin/python /usr/bin/fail2ban-server -b -s /var/run/fail2ban/fail2ban.sock
  893 root      20   0 29840  5620  2148 S  0.0  0.6  0:20.55 /usr/bin/python /usr/bin/fail2ban-server -b -s /var/run/fail2ban/fail2ban.sock
  920 fetchmai  20   0  8740  5588  1884 S  0.0  0.5  5:27.02 /usr/bin/fetchmail -f /etc/fetchmailrc --pidfile /var/run/fetchmail/fetchmail.pid
 4869 aa        20   0  8620  5188  1428 S  0.0  0.5  0:00.59 -bash
 1961 root      20   0 17252  4604  3644 S  0.0  0.5  0:01.96 smbd -F
 1947 root      20   0 16748  4156  3372 S  0.0  0.4  0:00.09 smbd -F
 3807 root      20   0 17544  4036  3048 S  0.0  0.4  0:00.98 smbd -F
 4897 root      20   0  6500  3236  1580 S  0.0  0.3  0:00.72 bash
 5237 root      20   0 16832  2984  2176 S  0.0  0.3  0:00.00 smbd -F
 4850 root      20   0  8432  2772  2204 S  0.0  0.3  0:00.17 sshd: aa [priv]
 4147 root      20   0 10324  2612  1904 S  0.0  0.3  0:00.47 dovecot-auth -w
  948 root      20   0 10264  2540  1844 S  0.0  0.2  0:02.09 dovecot-auth
 1523 postfix   20   0  6320  2500  1764 S  0.0  0.2  0:00.14 tlsmgr -l -t unix -u -c
  602 root      20   0  5632  2208  1792 S  0.0  0.2  0:00.02 /usr/sbin/sshd -D
 4230 dovecot   20   0  6672  2112  1672 S  0.0  0.2  0:00.00 imap-login
 4227 dovecot   20   0  6672  2108  1672 S  0.0  0.2  0:00.00 imap-login
 4286 dovecot   20   0  6672  2108  1672 S  0.0  0.2  0:00.00 imap-login
  859 postfix   20   0  6032  1872  1480 S  0.0  0.2  0:00.25 qmgr -l -t fifo -u
  840 root      20   0  5880  1788  1420 S  0.0  0.2  0:00.97 /usr/lib/postfix/master
  725 root      20   0  9368  1752  1164 S  0.0  0.2  0:21.13 nmbd -D
 5071 postfix   20   0  5896  1660  1324 S  0.0  0.2  0:00.00 pickup -l -t fifo -u -c
  605 root      20   0  5252  1644  1244 S  0.0  0.2  0:06.42 /usr/sbin/dovecot -F -c /etc/dovecot/dovecot.conf
    1 root      20   0  2848  1612  1180 S  0.0  0.2  0:00.42 /sbin/init
 4868 aa        20   0  8564  1440   864 S  0.0  0.1  0:00.13 sshd: aa@pts/0
  611 syslog    20   0 33568  1324   968 S  0.0  0.1  0:00.52 rsyslogd -c4
  652 syslog    20   0 33568  1324   968 S  0.0  0.1  0:00.09 rsyslogd -c4
  653 syslog    20   0 33568  1324   968 S  0.0  0.1  0:00.00 rsyslogd -c4
  686 ntp       20   0  4456  1316   980 S  0.0  0.1  0:09.35 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 107:114
 5238 root      20   0  2676  1292   980 R  0.0  0.1  0:00.03 htop
 1948 root      20   0 16736  1136   356 S  0.0  0.1  0:00.00 smbd -F
 3964 dnsmasq   20   0  4856   832   648 S  0.0  0.1  0:01.96 /usr/sbin/dnsmasq -x /var/run/dnsmasq/dnsmasq.pid -u dnsmasq -7 /etc/dnsmasq.d,.dpkg-dist,.dpkg-old,.dpkg-
  699 root      20   0  2456   796   624 S  0.0  0.1  0:00.25 cron
  271 root      16  -4  2464   792   344 S  0.0  0.1  0:00.07 udevd --daemon
 5028 root      18  -2  2460   764   320 S  0.0  0.1  0:00.00 udevd --daemon
  385 root      18  -2  2460   736   320 S  0.0  0.1  0:00.00 udevd --daemon
  248 root      20   0  2392   608   460 S  0.0  0.1  0:00.07 upstart-udev-bridge --daemon


Пользователь решил продолжить мысль 26 Апреля 2011, 07:47:33:Выкладываю конфигурацию squid:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

http_port 3333
dns_nameservers [dns-сервера провайдера]

#резалку банеров отключил, но ситуацию не изменило.
#url_rewrite_program /usr/local/rejik3/redirector /usr/local/rejik3/redirector.conf
#url_rewrite_children 6
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_store_log none
cache_log none
cache_dir ufs /var/log/squid/cache 2048 16 256
#debug_options 28,3

reload_into_ims on
refresh_pattern ^ftp:          1440    20%     10080
refresh_pattern .              0       20%     4320

acl all src 0.0.0.0/0.0.0.0
acl office src 192.168.0.0/255.255.255.0

http_access             allow   office
http_access             deny    all

cache_mem 100 MB
maximum_object_size 100 MB
maximum_object_size_in_memory 100 KB

visible_hostname www
memory_pools off
error_directory /var/log/squid/errors
access_log /var/log/squid/access.log squid

[podkovyrsty]

Копируйте по ftp или sftp, не?

[Brunen]

Копируйте по ftp или sftp, не?

Немного не понял. Т.е. подразумеваете поднять на втором сервере ftp и на него копировать?

[podkovyrsty]

Конечно.
А смысл - нагружать таким тяжелым протоколом общение между двумя серверами?

[Brunen]

Конечно.
А смысл - нагружать таким тяжелым протоколом общение между двумя серверами?

Так, я не спец в самбе, но как я понял, она требуется для расшаривания ресурсов в сети и много ещё чего полезного(LDAP, к примеру)

Её более легковесный(в плане нагрузки на машину) аналог - ftp-сервер, где также настраиваются шары. Ресурсы к клиенту цепляются также, как и сетевые диски самбы?

Кстати, раньше стояла Win2003-машина, на неё копирование шло без тормозов и подвисаний.

p.s. Сейчас просто samba работает отлично в плане доступа информации, а вот со скоростью - проблемы. Решит ли проблему добавление ОЗУ до 2Гбайт?

[podkovyrsty]

Эммм.
Ecть 2 протокола:
smb
ftp

Первый используется в контексте Windows систем, для передачи информации. Сам по себе он не нужен, нужен он вместе с рабочими группами или доменом, для обеспечения родной, для windows, среды. Его поддержку в линухе реализует Самба. А LDAP это отдельная песня.

Второй - просто протокол передачи файлов, которому недавно стукнуло 40 лет.

Для передачи _файлов_ между серверами не обязательно пользоваться SMB, а когда памяти нехватает - даже вредно.

Поможет ли память? Скорее всего да. Сервер вы ею точно не испортите ((: А еще можно попробовать отрегулировать кеши, хотя врятли это поможет, проше по фтп передавать.

Вы еще не забывайте, что у вас есть жесткий диск, который всегда был узким местом, и если его терзает пяток демонов, по очереди, то далеко не факт, что он их всех успеет обслужить.

[Brunen]

Эммм.
Ecть 2 протокола:
smb
ftp

Первый используется в контексте Windows систем, для передачи информации. Сам по себе он не нужен, нужен он вместе с рабочими группами или доменом, для обеспечения родной, для windows, среды. Его поддержку в линухе реализует Самба. А LDAP это отдельная песня.

Второй - просто протокол передачи файлов, которому недавно стукнуло 40 лет.

Для передачи _файлов_ между серверами не обязательно пользоваться SMB, а когда памяти нехватает - даже вредно.

Поможет ли память? Скорее всего да. Сервер вы ею точно не испортите ((: А еще можно попробовать отрегулировать кеши, хотя врятли это поможет, проше по фтп передавать.

Вы еще не забывайте, что у вас есть жесткий диск, который всегда был узким местом, и если его терзает пяток демонов, по очереди, то далеко не факт, что он их всех успеет обслужить.

Насчёт винта у меня сейчас так:
- система(/):
/dev/sda

- пользовательские данные(/org):
/dev/sdb

Т.е. демоны терзают sda, а sdb - терзают пользователи

Вопрос с ОЗУ меня мучает только по одной причине - если добавлю до 2Гбайт - будет она также при копировании уходить до свободных 15-16Мбайт?

[podkovyrsty]

Скорее всего нет, так как это должен быть кеш данных перед передачей (Опять же специфика SMB).

Демоны терзают sda это хорошо, а почтовик где почту сортирует, и кладет куда?

[NanoGlist]

Не изобретайте велосипед, пользуйтесь scp.
Например надо скопировать файл my.file на удаленный сервер.
пример1 краткий
scp /path_to_file/my.file user_name@ip_address_servers2:/path_to_put_file/
пример2 - понятный
scp /home/spongebob/Downloads/sesson6.avi spbob@10.24.112.3:/tmp/

гигабитномегабитные файлы копируются за полсекунды и ничо не нагружает

[podkovyrsty]

Не изобретайте велосипед, пользуйтесь scp.
Например надо скопировать файл my.file на удаленный сервер.
пример1 краткий
scp /path_to_file/my.file user_name@ip_address_servers2:/path_to_put_file/
пример2 - понятный
scp /home/spongebob/Downloads/sesson6.avi spbob@10.24.112.3:/tmp/

гигабитномегабитные файлы копируются за полсекунды и ничо не нагружает

А кто тут, простите, изобретает велосипед?

[NanoGlist]

Не изобретайте велосипед, пользуйтесь scp.
Например надо скопировать файл my.file на удаленный сервер.
пример1 краткий
scp /path_to_file/my.file user_name@ip_address_servers2:/path_to_put_file/
пример2 - понятный
scp /home/spongebob/Downloads/sesson6.avi spbob@10.24.112.3:/tmp/

гигабитномегабитные файлы копируются за полсекунды и ничо не нагружает

А кто тут, простите, изобретает велосипед?

ЙА!!! Потому что не обратил сразу внимание на то, что копируется на Windows машину, тогда надо через smbclient 

[Brunen]

Скорее всего нет, так как это должен быть кеш данных перед передачей (Опять же специфика SMB).

Демоны терзают sda это хорошо, а почтовик где почту сортирует, и кладет куда?

/dev/sda.
Почты в день около 30 писем приходит. 60% - из них информационного характера, остальные - с вложениями. 4 ящика, которые видны всем пользователям.

[podkovyrsty]

Тогда поднимите фтп сервер на виндовой машине и сливайте все туда по нему.
Или расшарьте папку и сливайте в нее smbclient-ом, при условии что виндовая машина пропатчена и с антивирем.

[Brunen]

Тогда поднимите фтп сервер на виндовой машине и сливайте все туда по нему.
Или расшарьте папку и сливайте в нее smbclient-ом, при условии что виндовая машина пропатчена и с антивирем.

Так так и есть:
Сейчас на виндовой машине открыта файловая шара(ntfs, //server2/testshare).
Захожу на Ubuntu-сервер, монтирую эту виндовую шару через mount.cifs.
Начинаю копировать через mc - сначала скорость порядка 7-8Мбайт/сек, затем минут через 10-15 падает до впадания в ступор. На Ubuntu-сервере памяти остается 15-16Мбайт свободной, как я раньше и писал.

Копирование производил в прошлое воскресение, предварительно перезагрузив Ubuntu-сервер.

[NanoGlist]

smbclient -U spongbob-super-admin \\\\10.24.112.3\\c$ 'вот тут пишем пароль'  
после коннекта идем в  дирректорию с нужным файлом (это важно) и put имя файла   файл перекиниться на с$  

Cто тысячмиллионов гигабаймегабайт перекидываются, но попердывают!!!