Форум русскоязычного сообщества Ubuntu


Следите за новостями русскоязычного сообщества Ubuntu в Twitter-ленте @ubuntu_ru_loco

Автор Тема: Помогите оптимизировать скрипт (синхронизация двух папок по SSH через FTP)  (Прочитано 1502 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн BizzyBoz

  • Автор темы
  • Новичок
  • *
  • Сообщений: 37
    • Просмотр профиля
Собственно, есть два сайта: сайт А, на котором у меня доступ SSH к VPS. Сайт Б, к которому доступ по FTP. Необходимо сделать синхронизацию опр. папки сайта А с содержимым опр. папки сайта Б, причем сайт Б очень быстро "очищает" содержимое своей папки, так что надо успеть осуществить синхронизацию, пока файлы там есть. Вот написала скрипт:
while true; do lftp -c "set ftp:list-options -a;open ftp://username:password@siteBhost.com; cd /siteBdirectory; mirror --only-newer"; done

но даже он пропускает некоторые файлы, некоторые файлы доходят битыми....Кто что посоветует? :-\

Оффлайн ArcFi

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net

Оффлайн BizzyBoz

  • Автор темы
  • Новичок
  • *
  • Сообщений: 37
    • Просмотр профиля
curlftpfs + rsync?
пробовала rsync с домашней директорией, действительно быстро. но проблема именно в том, чтобы БЫСТРО захватить файлы по FTP. можно поподробнее про curlftps?

Оффлайн ArcFi

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net
можно поподробнее про curlftps?
http://wiki.enchtex.info/tools/console/curlftpfs

Ещё по ftp умеет качать wget.

Есть и другие варианты, но они зависят от того, является ли задача единоразовой или нет.

Оффлайн BizzyBoz

  • Автор темы
  • Новичок
  • *
  • Сообщений: 37
    • Просмотр профиля
можно поподробнее про curlftps?
http://wiki.enchtex.info/tools/console/curlftpfs

Ещё по ftp умеет качать wget.

Есть и другие варианты, но они зависят от того, является ли задача единоразовой или нет.

хм, поняла. Здесь мы монтируем ftp в локальную папку.
У меня же задача скачать файлы по протоколу ftp в локальную папку, причем сделать это как можно быстрее, без потерь (максимально возможно), с учётом того, что файлы на фтп сервере удаляются/перемещаются вскоре после появления.. Если я монтирую ftp в локальную папку, то фактически получу пустую папку, ведь на фтп будет наполненной только пару минут =\

Вот я и спрашивала, что поможет быстрее всего перехватывать файлы... Впринципе мой скрипт (mirror по lftp в бесконечном loop'е) с задачей справляется, но у меня такое впечатление, что можно как-то сделать быстрее. Уж слишком много битых файлов, учитывая то, что скорость и со стороны фтп-сервера, и со стороны локального сервера, к которому у меня доступ по ssh, достаточно высока.

Оффлайн ArcFi

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net
Ещё по ftp умеет качать wget.
wget -r -P "local_dir" "ftp://anonymous:anonymous@ftp.mozilla.org/pub/data/memtests/"

 

Страница сгенерирована за 0.11 секунд. Запросов: 24.