[HOWTO] Различные способы создания локального репозитория

[warlock]

ещё один вариант!

Как известно, в Ubuntu реализовано централизованное хранение информации обо всех основных программах в одном месте, для более удобного поиска и последующей их установки. Этим местом является менеджер пакетов Synaptic. (Система -> Администрирование -> Менеджер пакетов Synaptic) Для инсталляции программы вам необходимо её только найти в списке и отметить для установки, далее программа будет автоматически скачана из интернета и установлена.

Основные программы, которые могут пригодиться при работе в ОС Ubuntu, хранятся в так называемом репозитории на официальном сервере Ubuntu. Каждый раз, когда вы отмечаете для установки ту или иную программу в менеджере пакетов Synaptic, она сперва скачивается.

Но что делать, если у вас очень медленный или дорогой интернет, или может у вас вообще отсутствует доступ во всемирную сеть, или вы просто не хотите зависеть от подключения к интернету работая в Linux Ubuntu? Можно, конечно, скачать все необходимые программы (пакеты) по одной, а потом вручную устанавливать, но кто знает, какая программа вам пригодится в дальнейшем?

Решением данной проблемы является создание локального репозитория, т.е. полной или частичной копии официального репозитория у себя на жестком диске. Таким образом, однажды скачав весь репозиторий, у вас больше не будет зависимости от интернета.

Итак, приступим.

1. Для создания копии (среза) репозитория у себя на жестком диске, существует специальная программа: debmirror. Соответственно, для начала вам её необходимо установить из того же менеджера пакетов Synaptic



или набрав команду в терминале:

sudo apt-get install debmirror

2. Создаём папку в домашней дирректории, в которой будет храниться срез репозитория (или даже несколько), к примеру, назовём её Repositories.

mkdir Repositories

3. Далее, напишем скрипт, который будет выполнять всю работу по созданию копии репозитория у вас на жестком диске.

Перейдём в папку Repositories:

cd Repositories

и создадим в ней файл скрипта с именем archive.ubuntulinux.org.sh:

gedit archive.ubuntulinux.org.sh

Вставляем в этот файл следующее:

#!/bin/bash -x
 /usr/bin/debmirror --nosource -m --passive --host=archive.ubuntulinux.org \
 --root=ubuntu --method=ftp --progress \
 --dist=hardy,hardy-security,hardy-updates,hardy-backports \
 --ignore-release-gpg --section=main,restricted,multiverse,universe \
 --arch=i386 /полный/путь/к/папке/куда/нужно/скачать/репозиторий/

полный путь у вас должен выглядеть примерно следующим образом: /home/aidsoid/Repositories/ru.archive.ubuntu.com/

и сохраняем его. После сохранения нужно сделать файл запускаемым (chmod +x archive.ubuntulinux.org.sh).

Приведённый выше пример будет выкачивать репозиторий для Ubuntu 8.04 (Hardy Heron), если вы всё еще используете старую версию Ubuntu 7.10 (Gutsy Gibbon), то вам необходимо немного подправить этот скрипт, в частности, необходимо изменить значения параметра --dist с hardy на gutsy. Также следует обратить внимание на параметр --arch, который указывает на архитектуру вашего компьютера, значение i386 говорит о том, что будут скачаны пакеты для компьютера с архитектурой x86. Этот параметр также может принимать значение amd64 для 64-битных AMD или Intel компьютеров.

4. Ну вот, собственно говоря и всё, теперь можно запускать скрипт на выполнение, для этого в консоли, находясь в папке Repositories, наберите следующую команду:

./archive.ubuntulinux.org.sh

Скрипт начнёт свою работу. Весь репозиторий занимает около 20-30 Гигабайт, так что перед скачиванием обеспечьте свободное место на диске. В любой момент можно безболезненно прервать работу скрипта, нажатием сочетания кнопок Ctrl+C. При повторном запуске скрипта, он продолжит скачивание недокачанных пакетов. Также повторный запуск скрипта позволит обновить ваш локальный репозиторий, т.е. проверяется наличие новых версий программ и они также выкачиваются.

Примечание: пользователей Ubuntu 7.10 ожидает один маленький подводный камень, пользователям Ubuntu 8.04 беспокоиться не о чем. Существует ошибка в debmirror’е, из-за которой при повторном запуске скрипта удаляется папка pool из локального репозитория. Её необходимо исправить перед запуском скрипта. Описание ошибки тут: https://bugs.launchpad.net/ubuntu/+source/debmirror/+bug/136634

Лечится ошибка просто:
$ sudo gedit /usr/bin/debmirror
заменяете в редакторе строку local $/="\n\n"; на local $/="\n"; и сохраняете файл. Теперь обновление репозитория пройдёт без происшествий.

5. После того как скрипт скачается (это может занять длительное время), вы сможете использовать его, добавив deb строку в источники приложений. (Система -> Администрирование -> Источники приложений)

deb строка должна указывать на папку с репозиторием и выглядит примерно следующим образом:
deb file:///home/aidsoid/Repositories/ru.archive.ubuntu.com/ hardy main restricted multiverse universe

 Дата добавления записи: Среда, Май 7th, 2008 at 10:43 дп. Категория: Linux Ubuntu. Вы можете отслеживать любые ответы на эту запись через RSS 2.0. Вы можете оставить комментарий, или trackback с вашего собственного сайта.

[vadim-nsk]

ещё один вариант!

По мне так единственно верный вариант, не знаю есть ли такая хауту или нет, но она должна быть на форуме . Как пожелание хотелось бы видеть расширенный вариант т.е. без  --ignore-release-gpg и собственно рецептом изготовление образов реп на ДВД и СД. Думаю многим бы пригодилось. Вот я например уже забыл, как решил проблему с подписью, сейчас даже не вспомню(вот у меня работает, а как делал забыл), а если бы было хауту, этого не произошло.
Просьба выделить в отдельное хауту, желательно с дополнениями.
С большим уважением и наилучшими пожеланиями.
Изготовленные таким методом репы очень помогают.

[burgua]

Все грамотные - не завалите человека советами!

[diden05]

Приветствую всех!
Есть обратная проблема, то есть существует срез репозитория на двд, хочу сделать его доступным в рамках нашей локалки, подскажите как?

[thunderamur]

Что-то тут способ создания репозитория с распаковкой пакетов увидел и с установкой доп. прог  Можно проще, 4 команды в терминале и готово, но напишу подробно, раз в теме есть слово "новичкам".

Чтобы скаченные пакеты сохранялись в кэше:

Система > Администрирование > Менеджер пакетов Synaptic
В нём: Настройки > Параметры > Файлы > Хранить все загруженные файлы в кеше

А теперь собсно создание локального репозитория:

Код: [Выделить]

mkdir Packages
cp /var/cache/apt/archives/*.deb Packages
cd Packages
apt-ftparchive packages .|gzip > Packages.gz

В итоге в дом. директории получим локальный репозиторий Packages, который теперь можно скопировать на любой носитель и подключить к системе.

Чтобы указать системе этот репозиторий:

Система - Администрирование - Источники приложений - ПО сторонних производителей - Добавить

Общий вид: deb file:/ <путь к пакетам> /
Пример1: deb file:/home/thunder/Packages /        - у меня это выглядит так
Пример2: deb file:/media/thunder/Packages /       - а это если пакеты хранятся на флешке

[diden05]

спасибо, помогло

[Black Jak]

Господа! У меня такая ситуация. Дома на компе стоит Линукс. Но интернет - gprs. А на работе стоит Windows и  инетом порядок, но админ не разрешает ставить Линукс.  Вот и прошу помочь-подсказать-объяснить, как можно из под винды скачать репозитарий для Убунты. Подозреваю что програмки деб-миррор  для винды нет. 

[Jetta]

Поставь ubuntu на flash.

Вот тут же есть >>
https://forum.ubuntu.ru/index.php?topic=2454.0;topicseen

И лучше использовать aptoncd << для создания мм.. репозиторки

[thunderamur]

но админ не разрешает ставить Линукс.

вот гад  

могу предложить довольно тупой, но вполне рабочий способ.
1. Скачать дома список пакетов ~6 метров
2. Далее выбираем что хотим поставить и смотрим какие пакеты система хочет вытянуть
3. Качаем на работе эти пакеты
4. Дома добавляем их в локальный репозиторий
5. Ставим.

З.Ы.: уверен есть способ поудобнее, описанного выше, но это я так по-нубски  

================================================================

Поставь ubuntu на flash.

а если на работе не фурычит usb-boot, например, намеренно выключен админом, думаю опять же не разрешит... хотя если usb-boot есть, то вариант получше)))

[MadKox]

Создание сетевого репозитория

В целом тема достаточно избитая, но порядком раскиданная по разным топикам. Мне кажется это потому, что процесс в значительной степени специфичен для каждого. Я хотел только описать мой случай, возможно, кому-то еще это тоже пригодится. На что-то новое не претендую, все скрипты кроме mirror подсмотрены тут на форуме, в сходных ветках.

Итак - ситуация:
1. Есть головной офис, в нем сидим преимущественно под Ubuntu, есть сеть, в ней машины пользователей, шлюз и сервер. Интернет быстрый, лимитный и дорогой.
2. Есть филиал, там тоже сидят под Ubuntu, там только шлюз. Инет - медленный, но безлимитный и относительно дешевый.
Задача: создать и поддерживать репозиторий в офисе.

Часть 1. Скачивание репозитория. Все действия выполнялись на шлюзе филиала.

1. Установил debmirror.

Код: [Выделить]

sudo apt-get install debmirror
2. Cоздал 2 скрипта.

Первый - mirror_upd - собственно отвечает за закачку

(Нажмите, чтобы показать/скрыть)

#!/bin/sh
#
#  Скрипт mirror_upd - собственно исполнительная часть.
#
#  Пояснения к опциям:
#  --nosource - игнорировать исходники, только bin
#  -m - проверить контрольные суммы md5
#  --passive - закачка в пассивном режиме (этого требуют некоторые прокси)
#  --host=archive.ubuntulinux.org - откуда качаем
#  --root=ubuntu - каталог на сервере, будем качать все, что в него вложено
#  --method=ftp - метод закачки, варианты: ftp|hftp|http|rsync
#  --dist=edgy,edgy-security,edgy-updates,edgy-backports -
#  наборы пакетов по их назначению (как они лежат на сервере в каталоге ubuntu)
#  --ignore-release-gpg - не обращать внимания на gpg-ключи (если мы доверяем серверу)
#  --section=main,restricted,multiverse,universe - секции наборов пакетов
#  --arch=i386,amd64 - архитектура нашего компа (можно ограничиться чем-то одним)
#  ubuntu/ - каталог, куда мы все это сложим.

/usr/bin/debmirror --nosource -m --passive --host=ru.archive.ubuntu.com \
   --root=ubuntu --method=ftp --progress \
   --dist=intrepid,intrepid-security,intrepid-updates,intrepid-backports \
   --ignore-release-gpg --section=main,restricted,multiverse,universe \
   --arch=i386 /home/odmin/repository/ubuntu/
# Выход - без кода завершения, таким образом скрипт возвращает
# код завершения скрипта debmirror, что и нужно для скрипта mirror
exit

Второй - mirror - циклично запускает первый скрипт, до тех пор, пока тот не завершится без ошибок (т.е. корректно доработает до конца). Это нужно на случай обрыва коннекта, т.к. в этом случае скрипт mirror_upd просто вывалится в терминал и сам продолжать работу станет только с подсказки пользователя.

(Нажмите, чтобы показать/скрыть)

#!/bin/sh
#
# Скрипт инициации зеркалирования репозитория.
# будет запускать скрипт mirror_upd до тех пор,
# пока тот не завершит корректно свою работу.
# Для этого:

# Создаем переменную
COMPLETED=1
# которая задает начальное состояние выполненности
# зеркалирования в 1, т.е. - не выполнено.

# В цикле проверяем, стала ли переменная
# $COMPLETED равна нулю, и если нет
while [ $COMPLETED != "0" ]
do
# запускаем скрипт mirror_upd.
/usr/sbin/mirror_upd
# т.о. если были ошибки, например
# разрыв соединения, скрипт debmirror вывалится с
# ошибкой, т.е. кодом завершения, отличным от нуля.
# Присваиваем переменной $COMPLETED значение,
COMPLETED=$?
# равное коду завершения скрипта mirror_upd, которое,
# в свою очередь, равно коду завершения скрипта
# debmirror и проверяем его при следующем витке цикла.
done

exit 0

Сделал их исполняемыми и переписал в /usr/sbin/

Код: [Выделить]

sudo cp /home/odmin/mirror_upd /usr/sbin
sudo chmod +x /usr/sbin/mirror_upd
sudo cp /home/odmin/mirror /usr/sbin
sudo chmod +x /usr/sbin/mirror
Также создал папку под репозиторий:

Код: [Выделить]

mkdir /home/odmin/repository/ubuntu/

Затем я запустил процесс и ушел покурить (дня на два):

Код: [Выделить]

sudo mirror

Часть 2. Подключение репозитория.

Как наступил счастливый момент и скрипт отработал я подрубил к шлюзу usb хард и переписал папку repository.  Затем с хардом поехал в офис и там переписал ее в /home/odmin на шлюзе. Т.к. для нужд sams'a на шлюзе поднят apache я решил воспользоваться им и кинул в папку www симлинк на репозиторий.

Код: [Выделить]

sudo ln -s /home/odmin/repository /var/www/
Собственно, на этом этапе репозиторий уже был способен работать, но для того, чтобы клиенты признали его приоритетным его следовало подписать.
Для этого я создал ключ:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

gpg --gen-key
Эта команда выдаст ряд диалогов, на которые нужно ответить.
Тип ключа:
       (1) DSA and ElGamal (default)
       (2) DSA (sign only)
       (5) RSA (sign only)
       Your selection?
       Ответ: 1-й вариант (можно просто нажать Enter).
Длинна ключа (чем длиннее - тем криптостойче, но нам, для репки особо длинный не нужен)...
       Поэтому выбираем дефолт (т.е. опять жмем энтер).
Срок действия ключа (опять же - для наших целей лучше - насегда)...
       0 (он тоже по умолчанию... ага.. снова ентер =).
Имя, адрес, телефон... т.е. оно по порядку спросит
        1 Имя: --нужно ввести свое имя (ну или чужое) - главное - это его запомнить.
        2 email: -- почта.
        3 Комментарий: (я смайлик поставил =).
Вбиваем пароль на ключ.
Грузим систему всякими разными задачами (давим на клаву, дергаем мышку и т.д.) чтобы
       добиться большей энтропии.
Все.

Создал скрипт makerepo и положил его в /home/odmin/repository/ubuntu и сделал исполняемым.

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

# Create the Packages file

dpkg-scanpackages . /dev/null > Packages
cat Packages | gzip -9c > Packages.gz #создаем зипованный вариант списка пакетов

# Create the Release file
# Тут собссна правим описание репозитория
cat > Release <<END
Archive: intrepid
Version: 8.10
Origin: Ubuntu
Label: My net Ubuntu Intrepid Repo
Architecture: i386
MD5Sum:
END

md5sum=$(md5sum Packages | cut -d ' ' -f1)
sizeinbytes=$(ls -l Packages | cut -d ' ' -f5)

printf " "$md5sum" %16d Packages" $sizeinbytes >> Release

#хэшируем также и .gz файл
md5sum=$(md5sum Packages.gz | cut -d ' ' -f1)
sizeinbytes=$(ls -l Packages.gz | cut -d ' ' -f5)

printf " "$md5sum" %16d Packages.gz" $sizeinbytes >> Release

# Create the Release.gpg file

gpg -bao Release.gpg Release

# Give instructions for adding the repository information to the sources.list file

echo
echo "To use this repository, you should have in your /etc/apt/sources.list file"
echo "(preferably at the top) the following line:"
echo
repodir="file://"$(pwd)
echo "deb "$repodir" /"
echo

Запустил его (sudo makerepo) и ввел мой пароль на ключ (см. выше). Скрипт достаточно быстро отработал.

Далее я экспортировал публичный ключ для репозитория...

Код: [Выделить]

gpg --export -a username > public.key
(Где username - имя пользователя, вбитое при генерации ключа.)
...и положил его в папку с репозиторием (для удобства)

Код: [Выделить]

sudo mv /home/odmin/public.key /home/odmin/repository/ubuntu/public.key

Часть 3. Шаманство на машинах клиентов.

1. Нужно добавить кое какие строчки в sources.list (лучше в самое его начало):

Код: [Выделить]

sudo gedit /etc/apt/sources.list
А строчки такие:

Код: [Выделить]

deb http://192.168.0.3/html/repository/ubuntu intrepid main restricted universe multiverse
deb http://192.168.0.3/html/repository/ubuntu intrepid-security main restricted universe multiverse
deb http://192.168.0.3/html/repository/ubuntu intrepid-updates main restricted universe multiverse
deb http://192.168.0.3/html/repository/ubuntu intrepid-backports main restricted universe multiverse
Где 192.168.0.3 - адрес шлюза (т.е. той машины, на которой лежат репозитории).
2. Нужно добавить ключ на репозиторий. Для этого файерфоксом идем на 192.168.0.3 и в папке ubuntu качаем файл public.key,
затем (при условии, что файл скачался в дом. папку юзера):

Код: [Выделить]

sudo apt-key add public.key
3.

Код: [Выделить]

sudo apt-get update
Все. Теперь клиентские машины будут брать пакеты из локального репозитория.


Все эти манипуляции я проделал сначала на 7.10, потом просто дописал в скрипты miror_upd и makerepo строчки про 8.04 и 8.10. Для упрощения процесса я поднял на шлюзе филиала ssh сервер и теперь запускаю скрипт обновления из офиса, жаль только никак нельзя автоматизировать перенос репки на харде  

Хочу добавить, что тем, кому повезло с рабочим инетом, достаточно пропустить пункты с переносом репозиория с одного компа на другой. В остальном мануал справедлив и для одного компа. А еще расшаривать репозиторий можно по ftp и (как говорят, но сам не пробовал) по smb.

[jmur]

а на харде каждый раз весь репозиторий тащишь?
Или только разницу?

[MadKox]

Каждый раз весь. Последний раз тащил 7.10, 8.04 и 8.10 - было около 70Гб. Но т.к. обновляю я его где-то раз в 2 недели - меня это особо не напрягает.

[samnick]

не каждый раз ,а перетягивает списки пакетов и то ориентируясь на их контрольные суммы (тоесть левого тарфика мало около метра) в случяе не освпадения стягтвает файл списков сравнивает с тем что имееться у тя на компе ,а отом дотягивает новые пакеты после чего удаляет старые

лично мое наблюдение обновлял раз в сутки

[MadKox]

Мне кажется, произошла небольшая путаница с тем, кто, что тащит...

Итак:

Случай №1. Тащит программа debmirror. Тащит пакеты. Из инета. Складывает их на комп. В этом случае debmirror при второй и последующих итерациях тащит только новые пакеты и тем самым обновляет репозиторий.

Случай №2. Тащит MadKox. Тащит пакеты. Тащит их на харде, который лежит у него в кармане. Тащит из филиала в офис. В этом случае он (MadKox) при второй и последующих итерациях тащит каждый раз весь репозиторий. Т.к. он не нашел пока способа корректно дописывать новые пакеты на хард, да и использовать хард отдельно под одни репозитории он себе позволить не может.

[netum]

Доброго времени суток. Есть пара вопросов:
1) можно ли держать в одной папке репозиторий для двух версий, т.е. харди и интрепида?

Код: [Выделить]

/usr/bin/debmirror --nosource -m --passive --host=ru.archive.ubuntu.com \
   --dist=intrepid ...
   --arch=i386 /home/repository/ubuntu/

/usr/bin/debmirror --nosource -m --passive --host=ru.archive.ubuntu.com \
   --dist= hardy ...
   --arch=i386 /home/repository/ubuntu/Ведь после выполнения debmirror подчищает лишние/устаревшие пакеты. Будут они друг за другом отчищать чужие репы? Можно запустить с ключом "nocleanup" но тогда со временем репы могут сильно распухнуть.
2) при запуске скрипта makerepo получаю варнинги, так и должно быть? Пример для репы с вайном:

... /repo/wine.budgetdedicated.com$ sudo ./makerepo
[sudo] password for .....:
 ** Packages in archive but missing from override file: **
  wine wine-dev wine-gecko

 Wrote 3 entries to output Packages file.
gpg: WARNING: unsafe ownership on configuration file `/home/...../.gnupg/gpg.conf'
.....