подскажите по shell

[flaviy]

Подскажите кто сможет плиз. Есть файл 19 метров. в нём куча тегов <urlset.........> и </urlset> Нужно удалить все промежуточные кроме открывющего <urlset.........> и закрывающего </urlset>. Если кто знает - плиз хелп.........

[truegeek]

а почему именно shell, вы другой язык программирования знаете?
этож просто работа с текстом...

[flaviy]

Пытался на  php. Но памяти жрёт много в любом случае. А  это действие нужно выполнять  периодически.

[truegeek]

а это просто текст или xml документ?
просто файл действительно большой и хоть на php хоть на shell, все равно будет долго

[flaviy]

это xml  - документ.

[truegeek]

ну вот и отлично, вы наверное в курсе что такое парсинг )))
в php есть замечательные функции для парсинга xml документов

[flaviy]

Прежде чем парсить его надо прочитать. Целиком не получается  из превышения допустимого количества употребляемой памяти.  А считывать кусками  то же особой  радости не доставит. Читал про ф-ию  sed. Но как заменить все вхождения кроме первого и последнего не сображу

[truegeek]

SimpleXML и на php.ru c этим словом
ну или читайте маны, я думаю, что это должно помочь

[jel]

Как вариант прогнать через sed и заменить все вхождения. Потом с помощью head и tail найти первое и последнее и добавить их к результирующему файлу.

[SureGOOD]

flaviy
т.к. файл большой. то читать нужно построчно, с помощью fgets
и пробегитесь немного по структуре файла, возможно надо будет учитывать перенос, если теги разбиваются при переносе, а вообще задача довольно простая, средствами php легко решается, поверьте, работал и с большими объемами данных(хоть вы и не сказали размер файла, но я уверен )

[alexander.pronin]

SimpleXML  в помощь.
Если на bash, то сделайте так.
1. Выделите строчки, которые надо удалять, как отдельные строчки.
sed 's/шило/\n&/g' - перед шило ентер
sed 's/мыло/&\n/g' - ентер после мыло.
2. Тем же sed удалите строчки с шило...мыло
Можно удалить и пустые строки, но это не обязательно.

[flaviy]

Спасибо всем. Буду пробовать

[wl]

Можно awk использовать - он как раз для такого предназначен.
Читает файл построчно, точнее, последовательно по одной записи, и для каждой записи выполняет указанные действия.
Можно отлавливать в строке открывающие и закрывающие тэги, увеличивать или уменьшать значение переменной в зависимости от того, какой попался, и, если переменная больше 0, вырезать эти тэги из записи.

Что-то типа такого:
[untested]

BEGIN {st=0}
/<urlset/ { if(st>0) {
                    print gensub(/<urlset .*>/,"","g",$0);
                    st=st+1;
                  }
             }
/<\urlset/{ if(st>0) {
                    print gensub(/<\urlset>/,"","g",$0);
                    st=st-1;
                  }
                }

[/untested]

[Sova777]

Прежде чем парсить его надо прочитать. Целиком не получается  из превышения допустимого количества употребляемой памяти.  А считывать кусками  то же особой  радости не доставит. Читал про ф-ию  sed. Но как заменить все вхождения кроме первого и последнего не сображу

SAX-парсерам не надо читать весь файл, правда пользоваться ими значительно сложнее.

[alexander.pronin]

Для справки.
xml файл имеет одну строку, в обычном понимании.
Перед тем как на него натравить построчные утилиты обработки типа sed, awk (или что-то еще), его надо разбить на строчки.