[HOWTO] Скачиваем репозиторий ubuntu из под windows (bat-скрипт)

[ViTalityU]

Довольно часто встречал вопросы как выкачать репозиторий из под Windows. вот и у самого появилась такая необходимость.
Набросал батник. используются Windowsовские версии gnu-утилит wget, sed, bzip2 gzip grep.
В данный момент скрипт тестируется на работе. кому интересно берем архив, распаковываем и запускаем.
Скачивает пакеты для
- ubuntu 10.04 lucid linx 32-битной архитектуры любого deb-дистрибутива(скорей всего ))
- английскую и русскую локализации (есть ли смысл)

Собственно репозиторий складывется в папку какую вы укажите или по умолчанию каталог_скрипта\ubuntu_repository\

ИЗМЕНИЛСЯ ПУТЬ СОХРАНЕНИЯ РЕПОЗИТОРИЯ
Из-за того что к примеру у http://packages.medibuntu.org репозиторий хранится в корне сайта а не подкаталоге
репозиторий сохранялся при скачивании не правильно. Пришлось убрать пару параметров.
Теперь путь сохранения будет выглядеть так каталог_скрипта\ubuntu_repository\АДРЕС_САЙТА\ПУТЬ_К_РЕПОЗИТОРИЮ
для http://packages.medibuntu.org
каталог_скрипта\ubuntu_repository\packages.medibuntu.org\
для http://archive.ubuntu.org/ubuntu/
каталог_скрипта\ubuntu_repository\archive.ubuntu.org\ubuntu\

Не стоит помещать папку скрипта в папки в именах которых есть пробелы или русские буквы.
лучше всего будет перенести папку со скриптом в корень диска C:\

Коментарии и конструктивная критика приветствуются.

(Нажмите, чтобы показать/скрыть)

+ incremental update
+ auto/manual remove outdated packages
? multiple repositories
? show package count ( may be negative for performance )
? show size before start (may be negative for performance )

- remove double slashes
- remove SYSTEM_WGETRC messages

? get_apt_sources_lists

? generate packages lists only
  * repository_creator4win

* repository_distributor

0.7.1

- исправлен баг с переменной mm в 129 строке

(Нажмите, чтобы показать/скрыть)

0.7
- по умолчанию теперь выкачивается ubuntu 10.04 lucid linx x86
- добавлен функционал для выкачивания исходников.
- теперь в зависимостях grep
- теперь весь мусор(временные файлы, логи) складываются в подпапку .\tmp
- все бинарники в .\bin
- код довольно сильно переработан
- но оставляет желать лучшего, есть чего оптимизировать

0.5.1
- исправлен баг с определением путей к Packages.gz из-за которого
  версия 0.5 была нерабочая.

0.5
- отключено использование прокси по умолчанию
- ИЗМЕНЕНЫ ПУТИ СОХРАНЕНИЯ для поддержки репозиториев
  типа http://packages.medibuntu.org

0.4
- добавлены коментарии
- исправлены пара мелких ошибок
- добавлена поддержка прокси
- вывод процесса выполнения скрипта не только в лог-файлы но и в консоль
- скрытие вывода команд скрипта в консоли
- добавлено логирования времени выполнения скрипта
- вернул sed, т.к. "своя" обработка списка пакетов занимала много времени
  ( почти час) с постоянной нагрузкой на процессор более 50%

0.3
- скрипт переписан полностью. сократился со 100 до 50 строк
- выкачивается только необходимое. ничего лишнего.
- введены переменные => теперь скрипт можно легко настроить на необходимый вам
  deb-дистрибутив/репозиторий/секцию/архитектуру, путь сохранения
- заменил bzip2 на gzip
- избавился от sed

0.2
- исправлены ссылки скачивания из-за которых скрипт был не рабочим
- убрано отдельное выкачивание локализаций

0.1 - первый релиз (нерабочий)

[/i]

[ViTalityU]

обновление
0.2
- исправлены ссылки скачивания из-за которых скрипт был не рабочим
- отключено отдельное выкачивание локализаций

[mtsfignya]

А он откуда начнет закачку после обрыва соединения? А то я на своем интернете уже 8 гигов скачал с помощью debmirror - это жесть. Скорость небольшая - при обрыве не перезапускается - плохо. Есть возможность скачать на нормальном соединении - но только из-под винды. Было бы здорово, если бы получилось.

[ViTalityU]

начнет докачивание с последнего недокачаного файла
wget перебирает и проверяет все файлы на дату изменения, сравнивания с файлами на сервере. если какой-либо изменился он его перекачает.

У себя уже несколько раз прерывал закачку, продолжалось нормально.

[mtsfignya]

Классно! Спасибо большое за скрипт! Хочу в Анапе раздавать репозиторий по вайфай,  а со своим 256 кб/с слабо оказалось скачать репозиторий. Постоянно обрывы и т.п.  Приходилось постоянно комп проверять. А братан в Челябинске быстро скачает, там нормальный инет, но из-под винды. Потом привезет.  Пытались там настроить на убунте местный vpn интернет - не получилось пока что.  Еще раз спасибо! Братан говорит, что скрипт нормально качает. Уже гигов 6 накачал

[ViTalityU]

я рад что хоть комуто пригодилось кроме меня

Пользователь решил продолжить мысль 16 Ноября 2009, 16:32:40:

А он откуда начнет закачку после обрыва соединения?

Я поначалу не совсем понял твой вопрос, поэтому уточню. если будет обрыв соединения то wget несколько раз (по умолчанию 20) повторит попытку скачать файл и перейдет к следующему файлу. и так до конца списка.
Пользователь решил продолжить мысль 17 Ноября 2009, 15:22:49:очередное обновление
0.3

- скрипт переписан полностью. сократился со 100 до 50 строк
- выкачивается только необходимое. ничего лишнего.
- введены переменные => теперь скрипт можно легко настроить на необходимый вам
  deb-дистрибутив/репозиторий/секцию/архитектуру, путь сохранения
- заменил bzip2 на gzip
- избавился от sed

[ViTalityU]

0.4

- добавлены коментарии
- исправлены пара мелких ошибок
- добавлена поддержка прокси
- вывод процесса выполнения скрипта не только в лог-файлы но и в консоль
- скрытие вывода команд скрипта в консоли
- добавлено логирования времени выполнения скрипта
- вернул sed, т.к. "своя" обработка списка пакетов занимала много времени
  ( почти час) с постоянной нагрузкой на процессор более 50%

[kurban]

Спасибо!!! недавно искал такой скрипт ненашел
пришлось на виртуальную машину ubuntu ставить и через debmirror качать
Пользователь решил продолжить мысль 09 Декабря 2009, 12:52:31:вот непонятно только как использовать его 
у меня виста 64бит, а тянутьь хочу вот с этого свйта http://mediazona.ru/install/upgrade/ubuntu/ вот этот репозитарий http://ex.mediazona.ru/ubuntu/ но только под 64 битную архитектуру

[netum]

спасибо затестю

[ViTalityU]

Спасибо!!! недавно искал такой скрипт ненашел
пришлось на виртуальную машину ubuntu ставить и через debmirror качать
Пользователь решил продолжить мысль 09 Декабря 2009, 12:52:31:вот непонятно только как использовать его 
у меня виста 64бит, а тянутьь хочу вот с этого свйта http://mediazona.ru/install/upgrade/ubuntu/ вот этот репозитарий http://ex.mediazona.ru/ubuntu/ но только под 64 битную архитектуру

как работает скрипт в 64битной оси да еще в висте я не вкурсе. т.к. нет таковых под рукой.
а настраивать просто. яж там все прокоментировал в скрипте.

открываете get_repository.bat любимым текстовым редактором(к примеру блокнотом)

...
rem Полный путь к репозиторию на сайте
set mirror= http://ex.mediazona.ru/ubuntu/

rem Дистрибутив который будем выкачивать
set dist=karmic karmic-updates karmic-security karmic-backports
rem Секции пакетов по "свободности"
set section=main multiverse restricted universe
rem Архитектура/исходники и т.п.
set arch=binary-amd64

...

rem Указываем место сохранения репозитоия
rem по умолчанию будет сохраняться в папку ОСНОВНОЙ_РАБОЧИЙ_КАТАЛОГ\ubuntu_repository
set output_dir=%base_dir%mediazona_karmic

сохраняешь и запскаешь

[kurban]

да так и делаю
-распаковываю архив в пааку Program files
-правлю батник

Код: [Выделить]

@echo off
rem script name: Repository collector
rem filename: get_repository.bat
rem depends: wget sed gzip
rem author: ViT Kol nvalka@gmail.com
rem version: 0.4

rem По умолчанию настроен на скачивание официального репозитория ubuntu 9.10 hardy koala x86

rem Полный путь к репозиторию на сайте
set mirror=http://ex.mediazona.ru/ubuntu/

rem Дистрибутив который будем выкачивать
set dist=hardy hardy-updates hardy-security hardy-backports
rem Секции пакетов по "свободности"
set section=main multiverse restricted universe
rem Архитектура/исходники и т.п.
set arch=binary-amd64

rem Если работаем за прокси то убираем "rem" в начале строк и указываем
set http_proxy=http://ИМЯ_или_IP_СЕРВЕРА:ПОРТ
set ftp_proxy=http://ИМЯ_или_IP_СЕРВЕРА:ПОРТ
set proxy_user=ИМЯ_ПОЛЬЗОВАТЕЛЯ
set proxy_password=ПАРОЛЬ

rem Основной рабочий каталог, в который будут выводиться логи и временные файлы
rem по умолчанию папка скрипта
set base_dir=%~dp0

rem Указываем место сохранения репозитоия
rem по умолчанию будет сохраняться в папку ОСНОВНОЙ_РАБОЧИЙ_КАТАЛОГubuntu_repository
set output_dir=%base_dir%mediazona_hardy

set script_log=%base_dir%log.log
set wget_log=%base_dir%wget.log

echo. > %wget_log%

for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% start
echo %dd% %tt% start >> %script_log%

for %%d in (%dist%) do (

echo.
echo. >> %script_log%
for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% get Release %%d
echo %dd% %tt% get Release %%d >> %script_log%
wget --directory-prefix=%output_dir% --append-output=%wget_log% --force-directories --no-host-directories --cut-dirs=1 --timestamping  --proxy-user=%proxy_user% --proxy-password=%proxy_password% %mirror%/dists/%%d/Release
wget --directory-prefix=%output_dir% --append-output=%wget_log% --force-directories --no-host-directories --cut-dirs=1 --timestamping  --proxy-user=%proxy_user% --proxy-password=%proxy_password% %mirror%/dists/%%d/Release.gpg

for %%s in (%section%) do (
for %%a in (%arch%) do (

for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% get list Packages.gz %%d %%s %%a
echo %dd% %tt% get list Packages.gz %%d %%s %%a >> %script_log%
wget --directory-prefix=%output_dir% --append-output=%wget_log% --force-directories --no-host-directories --cut-dirs=1 --timestamping  --proxy-user=%proxy_user% --proxy-password=%proxy_password% %mirror%/dists/%%d/%%s/%%a/Packages.gz
)))

echo. > %base_dir%Packages
for %%d in (%dist%) do (

echo.
echo. >> %script_log%

for %%s in (%section%) do (
for %%a in (%arch%) do (

for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% unpack Packages.gz %%d %%s %%a
echo %dd% %tt% unpack Packages.gz %%d %%s %%a >> %script_log%
gzip --stdout --decompress --force %output_dir%/dists/%%d/%%s/%%a/Packages.gz >> %base_dir%Packages
)))

echo.
echo. >> %script_log%
for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% get packages urls
echo %dd% %tt% get packages urls >> %script_log%
findstr "^Filename: " %base_dir%Packages > %base_dir%pkglist.txt

for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% generate full urls
echo %dd% %tt% generate full urls >> %script_log%

for /f "tokens=1" %%i in ('echo %mirror% ^| sed -e "s/:/\:/g" ^| sed -e "s///\//g"') do set mm=%%i
sed -e "s/Filename: /%mm%/" %base_dir%pkglist.txt > %base_dir%urls.txt

for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% downloading... see %wget_log%
echo %dd% %tt% downloading... see %wget_log% >> %script_log%
wget --input-file=%base_dir%urls.txt --directory-prefix=%output_dir% --append-output=%wget_log% --force-directories --no-host-directories --cut-dirs=1 --timestamping  --proxy-user=%proxy_user% --proxy-password=%proxy_password%

echo.
echo. >> %script_log%
for /f "tokens=2" %%i in ('date /t') do set dd=%%i
for /f "tokens=1" %%i in ('time /t') do set tt=%%i
echo %dd% %tt% all done
echo %dd% %tt% all done >> %script_log%
pause

а он мне создает файл Program в корне с: огромных размеров вот такого содержания

Код: [Выделить]

Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
 12:22 unpack Packages.gz hardy main binary-amd64  Filesepository_collectorlog.log
  Filesepository_collectorPackages
  Filesepository_collectorlog.log
Пользователь решил продолжить мысль 10 Декабря 2009, 12:24:51:ось ХР

[ViTalityU]

Не стоит помещать папку скрипта в папки в именах которых есть пробелы или русские буквы.
лучше всего будет перенести папку со скриптом в корень диска C:\

ну и мой косяк
нужно "заremить" следующий кусок кода вот так

rem Если работаем за прокси то убираем "rem" в начале строк и указываем
rem set http_proxy=http://ИМЯ_или_IP_СЕРВЕРА:ПОРТ
rem set ftp_proxy=http://ИМЯ_или_IP_СЕРВЕРА:ПОРТ
rem set proxy_user=ИМЯ_ПОЛЬЗОВАТЕЛЯ
rem set proxy_password=ПАРОЛЬ

[kurban]

пошло дело
спасибо!!!

[G.A.P]

Не стоит помещать папку скрипта в папки в именах которых есть пробелы или русские буквы.
лучше всего будет перенести папку со скриптом в корень диска C:\

Работает нормально даже не из корня С: Скачиваю репозиторий под i386 и amd64.
Назревает вопрос - а как обновлять то что я сейчас выкачал? Удалять всё слитое и качать снова?

[ViTalityU]

Работает нормально даже не из корня С: Wink Скачиваю репозиторий под i386 и amd64.

главное чтоб пробелов и русских букв небыло в пути

Назревает вопрос - а как обновлять то что я сейчас выкачал? Удалять всё слитое и качать снова?Smiley

нет. просто запустить скрипт по новой. он сравнит файлы на сервере и на диске, и перезакачает только обновившиеся.