Форум русскоязычного сообщества Ubuntu


Увидели сообщение с непонятной ссылкой, спам, непристойность или оскорбление?
Воспользуйтесь ссылкой «Сообщить модератору» рядом с сообщением!

Автор Тема: Робот, который сам лазит по инету.  (Прочитано 6423 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн BorisPlus

  • Активист
  • *
  • Сообщений: 253
  • Болты вперед,болты назад,такой работе я очень рад!
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #15 : 29 Августа 2009, 23:03:18 »
ir=1
while [ $ir==1 ]; do
~
while [ TRUE ]; doа так пашет?
а хостинг зачем?
у Вас же с машины это и так работает.
Спасибо за помощь, товарищи!

Оффлайн nauman

  • Автор темы
  • Новичок
  • *
  • Сообщений: 39
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #16 : 30 Августа 2009, 10:26:19 »
Спасибо, это тоже пашет:
Цитировать
while [ TRUE ]; do

Хостинг нужен, чтобы скрипт работал круглосуточно.

Оффлайн Frank

  • Старожил
  • *
  • Сообщений: 1799
  • Профессиональный любитель
    • Просмотр профиля
    • Народный форум Николаева
Re: Робот, который сам лазит по инету.
« Ответ #17 : 30 Августа 2009, 10:45:05 »
хостинги с доступом к шеллу - платные, и стоят заметно больше, чем только с php

Оффлайн Sova777

  • Участник
  • *
  • Сообщений: 208
    • Просмотр профиля
    • Несколько слов о NetBeans C/C++ Pack'е
Re: Робот, который сам лазит по инету.
« Ответ #18 : 30 Августа 2009, 13:13:05 »
Спасибо, это тоже пашет:
Цитировать
while [ TRUE ]; do

Хостинг нужен, чтобы скрипт работал круглосуточно.
На дешёвых тарифах скрипты режут по таймауту. elinks, wget может и не быть. Писать в /tmp/1 не очень хорошо,так как пользователей на одном компьютере много. Нужен или дорогой хостинг или экзотический.
Пользователь OpenSolaris 2008.11, Ubuntu 8.10, Windows XP. Mac OS X не нравится, стараюсь не использовать.

Оффлайн nauman

  • Автор темы
  • Новичок
  • *
  • Сообщений: 39
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #19 : 23 Сентября 2009, 22:42:54 »
Уперся в задачу, подскажите чем в bash можно из строки скопировать именно то что нужно, не прибегая к конвеерному редактированию, в моем случае айпишники? Т.е. есть сайт с которого grep-ом копируются строки содержащие ip адреса, но они в принципе разбросаны, так что командой cut и awk нормально их не отделишь от ненужного.  ???

Оффлайн Frank

  • Старожил
  • *
  • Сообщений: 1799
  • Профессиональный любитель
    • Просмотр профиля
    • Народный форум Николаева
Re: Робот, который сам лазит по инету.
« Ответ #20 : 23 Сентября 2009, 23:54:53 »
Не может быть! Айпишники всегда попадают под регэксп!
Учите регэкспы и работу с ними. Даю пример:
frank@fqc:~$ echo dfjkd 123.44.2.55 d. dd 555 21.34 | sed -e 's/.* \([0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\) .*/\1/g'
123.44.2.55

Оффлайн alexander.pronin

  • Старожил
  • *
  • Сообщений: 2539
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #21 : 24 Сентября 2009, 08:49:18 »
хостинги с доступом к шеллу - платные, и стоят заметно больше, чем только с php
Немного странно, но объяснимо. Хотя разницы большой не вижу.
Плата за возможный риск.
Или способ принуждения (использовать php для унификации).

Оффлайн nauman

  • Автор темы
  • Новичок
  • *
  • Сообщений: 39
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #22 : 24 Сентября 2009, 11:24:30 »
Frank, спасибо, то что доктор прописал, помогло. :)

Оффлайн nauman

  • Автор темы
  • Новичок
  • *
  • Сообщений: 39
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #23 : 29 Сентября 2009, 22:23:22 »
Создал несколько файлов со скриптами и хотел бы запустить их, одной командой. Но пока вижу проблему в следующем. Если их запускать из одного файла, то они будут работать последовательно, один за другим, а это очень долго и не удобно, так как они должны работать на одну задачу и паралельно, конечно если их запускать в разных окнах виртуальной консоли. Можно ли их запускать одной командой, но так чтобы они работали не последовательно?

Оффлайн Frank

  • Старожил
  • *
  • Сообщений: 1799
  • Профессиональный любитель
    • Просмотр профиля
    • Народный форум Николаева
Re: Робот, который сам лазит по инету.
« Ответ #24 : 29 Сентября 2009, 23:00:12 »
добавляй & в конец строки запуска команды в файле
если будут проблемы, то man nohup

Оффлайн dj--alex

  • Старожил
  • *
  • Сообщений: 3237
  • Понимаешь, я какбы беру в руки лопату и говорю...
    • Просмотр профиля
    • все мои творения и занятия
Re: Робот, который сам лазит по инету.
« Ответ #25 : 01 Октября 2009, 15:02:30 »
самый лучший способ выбрать себе хостинг - сделать его самому
будет и доступ к шеллу и php и оptimizer  и все что нужно. надо всего лишь договорится с провайдером насчет сервера , аренды , или стойкоместа.

я вот так сделал и доволен, теперь могу что угодно размещать.
Ubuntu 18.04 MATE x64, 19.3 x64 Mate, MX-Linux 19 Mate Mate Mate Mate. PC:B450\Ryzen3200G\16Gb\6TB\1060gtx\512Gb-Netac
https://forum.ubuntu.ru/index.php?topic=199897.0

Оффлайн nauman

  • Автор темы
  • Новичок
  • *
  • Сообщений: 39
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #26 : 01 Октября 2009, 17:22:29 »
Я чтото не въезжаю :uglystupid2:, проковырял мануалы, но примеров так и не нашел. Что ни блог, то содраный один у другого.
Написал скрипт, который запускался в функции первого скрипта:
#! /bin/bash
user_agent=/usr/bin/user_agent
all_lines=`sed -n '$=' /usr/bin/user_agent`
let randomize=$RANDOM%$all_lines
line=`sed -n ''$randomize'p' /usr/bin/user_agent`
Проблема первая, когда вставляю lineв эту строку, после User-Agent: :
proxychains wget -v --timeout=60 --random-wait --no-cache --no-cookies --header="User-Agent: $line" -i /home/and/1 -O /home/and/2По идее должна вставлятся одна из списка строк Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3. На самом деле подстановки не происходит, перепробовал все кавычки, уперся, решил переделать, хотя оно какимто боком вроде работало, лишь на некоторых сайтах писало код ошибки 400. Решил переделать изменил строку proxychains wget -v --timeout=30 --random-wait --no-cache --no-cookies --header="User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3" и решил ее тупо вставить в первый скрипт другим скриптом, но снова уперся. читая маны и т.д. чтото снова не получается. Как или чем ее вставить в другой файл строка 55, можно конкретно привести хотябы пример. Потому что до этого я извращался с sed-ом перенаправляя поток сначала во временный файл, затем перезаписывал оригинал. По мануалам sed '/text/'w файл, не работает.
Тоесть вопрос один в чем моя ошибка в привиденном скрипте, второй - если можно привести пример как вставть значение переменной line в другой файл, в строку под номером, не первым и не последним.
« Последнее редактирование: 01 Октября 2009, 17:30:08 от nauman »

Оффлайн Frank

  • Старожил
  • *
  • Сообщений: 1799
  • Профессиональный любитель
    • Просмотр профиля
    • Народный форум Николаева
Re: Робот, который сам лазит по инету.
« Ответ #27 : 01 Октября 2009, 17:34:17 »
Текст в кавычках одинарных (') всегда воспринимается как есть; в двойных (") - переменные "разворачиваются" в значения.

Оффлайн nauman

  • Автор темы
  • Новичок
  • *
  • Сообщений: 39
    • Просмотр профиля
Re: Робот, который сам лазит по инету.
« Ответ #28 : 01 Октября 2009, 18:02:04 »
Я все кавычки перепробовал, результат один. Вот сейчас с двумя, посмотрел на логи сайта, тоже самое пишет | Mozilla/5.0 | 0, но если стаически прописать туже строку, то все хорошо, но мне надо, чтобы юсер агент  постоянно менялся.

Оффлайн Frank

  • Старожил
  • *
  • Сообщений: 1799
  • Профессиональный любитель
    • Просмотр профиля
    • Народный форум Николаева
Re: Робот, который сам лазит по инету.
« Ответ #29 : 01 Октября 2009, 19:00:44 »
Делай в скрипте echo $line и поймёшь, что не так.

 

Страница сгенерирована за 0.019 секунд. Запросов: 21.