ПОИСК нужного текста в скачаной страничке [РЕШЕНО]

[RazrFalcon]

а

Код: [Выделить]

echo "$site$i" что выдает? (каждый раз)

[alexander.pronin]

Можно использовать
- параметры скрипта для списка
- отдельный файл списка
- и.т.д.
Пользователь решил продолжить мысль 27 Января 2011, 11:42:39:Можно использовать
- параметры скрипта для списка
- отдельный файл списка
- и.т.д.

[TrEK]

Я думаю идеально было бы отдельный файл для списка... Но как?

[alexander.pronin]

#!/bin/sh
...
while read LINE
do
  print $LINE
...
done < /tmp/my.tmp

[TrEK]

а

Код: [Выделить]

echo "$site$i" что выдает? (каждый раз)

Код: [Выделить]

root@dionis:/home/trek/AAA# ./sh.sh
cat: temp=: No such file or directory
cat: index1.html: No such file or directory
cat: index2.html: No such file or directory
cat: index3.html: No such file or directory
--2011-01-27 11:04:14--  http://www.site.com/temp=
Визначення імені www.site.com... aaa.bbb.ccc.ddd
З'єднуюсь з www.site.com|aaa.bbb.ccc.ddd|:80... під'єднано.
HTTP-запит надіслано, очікую відповіді... 404 Not Found
2011-01-27 11:04:14 ПОМИЛКА 404: Not Found.

./sh.sh: line 19: index1.html: команду не знайдено

(Нажмите, чтобы показать/скрыть)

#!/bin/bash
#IFS=$''
for i in temp="
index1.html
index2.html
index3.html
"
do #количество шагов цикла скрипта
case $i in
index1.html ) name="index1";;
index2.html ) name="index2";;
index3.html ) name="index3";;
esac
 site="http://www.site.com/"
 word="sold_out"
 mail_to="mail@mail.ru"
 text=`cat $i | grep $word`
if eval "wget $site$i"; then
if [ -n $text ]; then
echo "                  ";
echo " ================ ";
echo "                  ";
echo "FOUND $word in $name";
echo "          visit $site$i        ";
echo "                  ";
echo " ===============  ";
echo "Word $word has been fined in <$name> , visit $site$i" | mail -s 'FINED '$word' IN '$name'' $mail_to
#rm $i
echo "======";
echo "  FILE WAS DELETED!!!!!!!!!!!";
fi
else
if [ ! -n $text ]; then
echo "NOT FOUND $word in $name!";
echo "Word $word not found in $site$i" | mail -s 'not found '$word'' $mail_to
#rm $i
echo "=========";
echo "FILE WAS DELETED";
fi
fi
sleep 3
done
#unset IFS

Пользователь решил продолжить мысль 28 Января 2011, 01:55:31:Что-то не получается у меня... весь день голову ломал что не так... не смог найти ошибку !((((
Пользователь решил продолжить мысль 28 Января 2011, 02:09:26:

(Нажмите, чтобы показать/скрыть)

#!/bin/bash
while read LINE
do

 site="http://www.site.com/"
 word="HELLO_WORLD"
 mail_to="mail@mail.ru"
 text=`cat $LINE | grep $word`
 date=`date '+ %d.%m.%y/ %H:%M:%S'`
if eval "wget $site$LINE"; then
    if [ -n $text ]; then
    echo "---------------------------------";
    echo "------------   START   YES  -----";
    echo "---------------------------------";
    echo "";
    echo "";
    echo " --- The word $word was FOUND in the file $LINE. --- ";
    echo " --- Visit $site, please. --- ";
    echo "";
    echo "$date / The word <$word> was FOUND, visit $site$LINE, please!" | mail -s 'Alarm! '$word' at site.com' $mail_to
    rm $LINE
    echo " --- File $LINE has been deleted! $date --- ";
    echo "";
    echo "";
    echo "---------------------------------";
    echo "-------------   END   YES--------";
    echo "---------------------------------";
    echo "";
else
echo "--------------------------------";
echo "-------------   START NO   -----";
echo "--------------------------------";
echo "";
echo "";
echo " --- The Word $word NOT FOUND in $LINE! --- ";
echo "";
echo "$date / Word $word NOT FOUND in $site$LINE" | mail -s 'not found '$word'' $mail_to
rm $LINE
echo " --- FILE $LINE has been DELETED --- ";
echo "";
echo "";
echo "--------------------------------";
echo "------------   END NO   --------";
echo "--------------------------------";
echo "";
fi
 else
 echo "";
 echo "";
 echo " --- Wrong URL --- ";
 echo "";
 echo "";
fi
sleep 3
done < my.tmp

В my.tmp три строки:
index1.html (в котором имеется строка HELLO_WORLD)
index2.html (в котором имеется строка HELLO_WORLD)
index3.html (в котором нету HELLO_WORLD!)

Но цикл по очереди скачивает каждую страничку, и выводит в консоль The word $word was FOUND, хотя при проверки третей страничке должен был вывести : --- The Word $word NOT FOUND in $name! --- "

И где грабли?

[RazrFalcon]

Код: [Выделить]

if [ -n "$text" ]

[TrEK]

Код: [Выделить]

if [ -n "$text" ]

Все равно три ответа YES
Пользователь решил продолжить мысль 28 Января 2011, 02:30:09:



Ладно пока без файла с ссылками...
Возвращаюсь к первоначальному виду:




Пользователь решил продолжить мысль 28 Января 2011, 02:33:14:

(Нажмите, чтобы показать/скрыть)

#!/bin/bash
for i in \
index1.html \
index2.html \
index3.html \
do #количество шагов цикла скрипта
     case $i in
     index1.html ) name="index1";;
     index2.html ) name="index2";;
     index3.html ) name="index3";;
     esac
site="http://www.site.com/"
word="HELLO_WORLD"
mail_to="mail@mail.ru"
text=`cat $i | grep $word`
date=`date '+ %d.%m.%y/ %H:%M:%S'`
    if eval "wget $site$i"; then
       if [  -n "$text" ]; then
       echo "---------------------------------";
       echo "------------   START   YES  -----";
       echo "---------------------------------";
       echo "";
       echo "";
       echo " --- The word $word was FOUND in the file $name. --- ";
       echo " --- Visit $site, please. --- ";
       echo "";
       echo "$date / The word <$word> was FOUND, visit $site$i, please!" | mail -s 'Alarm! '$word' at $site' $mail_to
       rm $i
       echo " --- File $name has been deleted! $date --- ";
       echo "";
       echo "";
       echo "---------------------------------";
       echo "-------------   END   YES--------";
       echo "---------------------------------";
       echo "";
          else
          echo "--------------------------------";
          echo "-------------   START NO   -----";
          echo "--------------------------------";
          echo "";
          echo "";
          echo " --- The Word $word NOT FOUND in $name! --- ";
          echo "";
          echo "$date / Word $word NOT FOUND in $site$i" | mail -s 'not found '$word'' $mail_to
          rm $i
          echo " --- FILE $name has been DELETED --- ";
          echo "";
          echo "";
          echo "--------------------------------";
          echo "------------   END NO   --------";
          echo "--------------------------------";
          echo "";
       fi
   else
   echo "";
   echo "";
   echo " --- Wrong URL --- ";
   echo "";
   echo "";
   fi
sleep 3
done

[RazrFalcon]

Решено/не решено 

[TrEK]

Скрипт выше привел в человеко-подобный вид...


И этот скрипт теперь мне при проверке всех трех индексов выдает : "HELLO_WORLD not FOUND"
Хотя HELLO_WORLD нету только в третем файле.

[RazrFalcon]

Я не пойму, оно ищет сначала текст, а потом уже качает страницу =/

Код: [Выделить]

text=`cat $i | grep $word`
if eval "wget $site$i"; then

[ArcFi]

Я бы сделал примерно так:

Код: [Выделить]

URLS="https://help.ubuntu.ru/wiki
https://help.ubuntu.ru/manual
https://help.ubuntu.ru/fullcircle"

PATTERN="full circle\|введение"

for URL in $URLS
do
    wget -qO- "$URL" \
    | grep -qi "$PATTERN" \
    && ( echo "Match found: $URL" )
done
ps
Скобки с echo можно заменить процедурой или последовательностью команд.

[TrEK]

Я не пойму, оно ищет сначала текст, а потом уже качает страницу =/

Код: [Выделить]

text=`cat $i | grep $word`
if eval "wget $site$i"; then

Мда.. теперь я понял .. Спасибо )) А то я думал , что ничего страшного что оно перед началом цикла пишет что мол, нет такого файла, откуда брать инфу.. нету его !:) А тут и проблема из-за этого была. )
Все сделал чтоб ссылку скрипт брал из файлика...

Подскажите , а как можно

Код: [Выделить]

       echo "---------------------------------";
       echo "------------   START   YES  -----";
       echo "---------------------------------";
       echo "";
       echo "";загнать в одну переменную в начале скрипта.....

[jura12]

я кстати столклулся с похожей задачей - поиск фразы по скаченному сайту. правильная команда grep это

Код: [Выделить]

find . -name '*.html' -print0 | xargs -0r grep -RHn 'разноцветным дымом' есть другой вариант, но он более медленный

Код: [Выделить]

find . -name '*.html' -print |while read i; do grep -RHn 'разноцветным дымом' "$i"; doneесть замечания:
1.кодировка сайта должна быть utf-8 иначе надо страницу конвертировать в utf-8 или работать в терминале с другой кодировкой, например windows-1251 .
2.поиск идет только по строкам. следовательно если двухстрочная фраза перенесена на другую строку она не найдется. выход это использование модификатора в регулярном выражении - m (PCRE_MULTILINE).
3.если часть двухсложной фразы выделена или оформлена в хтмл теги то она не найдется. надо перед поиском удалять все теги (типа этого(<.*?>)), все ява скрипты и все комментарии.

в общем в результате я пришел к выводу что надо использовать для фильтрации библиотеку PCRE. поскольку perl я не знаю то программу надо писать на php. на php можно для открытия файла использовать функцию fgetss() которая удаляет html теги.

[TrEK]

jura12, ну мне как "программисту"-любителю более понятен shell , хотя в пшп приходится что-то ковырять так-же часто.
Но все же.. шелл более подобный на борланд-паскаль.)
Пользователь решил продолжить мысль 29 Января 2011, 00:36:51:Так как же мне загнать вывод множества echo в одну переменную?...
Пользователь решил продолжить мысль 29 Января 2011, 02:50:50:http://citforum.ru/programming/shell/gl4.shtml
Пользователь решил продолжить мысль 29 Января 2011, 05:59:27:

И тааааак... долгие ковыряния.. и тестирование и допередописывание кода почти до утра дало долгожданный работоспособный скрипт ,Виват Виват :

Финальная бета-версия скрипта "поиск текста в скачаной страничке" v1.0 ®

Так сказать, принципиально новая © версия скрипта

Код: [Выделить]

#cat script.tmp
index1.html
index2.html
index3.html

(Нажмите, чтобы показать/скрыть)

#!/bin/bash
#crontab -e
#*/59 * * * * /home/user/script.sh
while read LINE
do
s_y="-------------------------------------
-------------   START YES  ----------
-------------------------------------

"
e_y="

--------------------------------------
-------------   END   YES-------------
--------------------------------------

"
s_n="-------------------------------------
-------------   START NO   ----------
-------------------------------------

"
e_n="

-------------------------------------
------------   END NO   -------------
-------------------------------------

"
site="http://www.site.com/"
word="HELLO_WORLD"
mail_to="user@mail.ru"
date=`date '+ %d.%m.%y/ %H:%M:%S'`
    if eval "wget $site$LINE"; then
        text=`cat $LINE | grep $word`
            if [  -n "$text" ]; then
            echo "$s_y";
            echo " --- Attention! Word $word is fined!";
            echo "$date  /   --- Attention! Word $word is fined! Visit $site$LINE, please!" | mail -s 'TrEK-Alarm' $mail_to
            rm $LINE
            echo " --- File has been deleted! $date";
            echo "$e_y";
                touch "script-$LINE.txt" ;
                echo $date  >> script-$LINE.txt;
            else
                 if [ -e "script-$LINE.txt" ]; then
                new_date=`head -n 1 script-$LINE.txt`
                echo " --- WAW! Word $word has beed fined after $new_date. Now is $date.";
                echo " --- WAW! Word $word has been fined after $new_date. Now is $date." | mail -s 'TrEK-Back' $mail_to
                touch "script-log.txt";
                echo "FIND : "$sold_date "-" $site$LINE >> script-log.txt;
                echo "LOSE  :"$date "-" $site$LINE >> script-log.txt;
                echo "" >> script-log.txt;
                rm "script-$LINE.txt";
                else
            echo "$s_n";
            echo " --- Yahooo! Word $word is still available!";
            echo "$date  /  YahooO!  Word $word is still available!" | mail -s 'TrEK-Available' $mail_to
            rm $LINE
            echo " --- File has been deleted! $date";
            echo "$e_n";
                fi
            fi
    else
   echo "";
   echo " ----- Wrong $site$LINE URL!!! $date ----- ";
   echo "$date  /  Attention! URL $site $LINE is not available!" | mail -s 'TrEK-Alarm-404' $mail_to
   sleep 1
   fi
#exit
sleep 1
done < script.tmp

Пользователь решил продолжить мысль 29 Января 2011, 06:19:19:

Спасибо всем кто дал советы и помог.
п.с. Если надо - https://forum.ubuntu.ru/index.php?topic=97625.75