Как удалить строку из всех файлов

[Ввысь]

Здравствуйте.

Подскажите, как удалить строки из всех файлов,
у меня есть такое

Код: [Выделить]

grep -v -f /dir/123.txt /dir/all.txt > tmp ; mv -f tmp /dir/all.txt
удаляет из all.txt все значение совпадающие со значениями в 123.txt

А как удалить не из одного, а их всех файлов?

нашел это, но как использовать файл со значениями не пойму

Код: [Выделить]

find /dir/ -type f -exec sed -i /text/d {} + ;
Спасибо.

[ALiEN175]

Код: [Выделить]

while read pattern ; do
    find /dir/ -type f -exec sed -i "/$pattern/d" {} \;
done < /dir/123.txt
Неоптимально, но пару раз применить сойдёт. Не забудьте про бекапы)

[qpdb]

Не забудьте про бекапы

Код: [Выделить]

QQ=(/tmp/$(date +%H%M%S)_cp);mkdir $QQ;find . -type f -iname "*.txt" -exec bash \
-c 'cp "$0" "`echo $0|sed -r "s:(.*)/:\1/$(date +%s%4N)∑¢∑_:;s:(.*)/.{8}:\1\/:"`"' \
{} \; 2>/dev/null;sleep 5;find . -type f -iname "*∑¢∑*" -exec mv -t $QQ  {} \; 2>/dev/null

Да, backup это действительно важно!

Данная команда будучи запущенной в конкретной директории скопирует все файлы .txt из данной директории и всех поддирректорий в соответствующую директорию в /tmp (можно в любое другое место). Файлы с одинаковыми именами будут переименованы, к ним будет добавлен уникальный префикс типа 255978∑¢∑_………….txt.

Потом его можно легко удалить при необходимости. Команда ничего «порушить» не должна применял неоднократно.

[Ввысь]

ALiEN175, спасибо, работает, но вылез один косяк, если попадается вот это --> /, то все ломается

Код: [Выделить]

sed: -e expression #1, char 10: unknown command: `1'можно ли это обойти?

[qpdb]

Можно попробовать задействовать переменную.

Код: [Выделить]

touch /tmp/123.txt; echo 'one two three' > /tmp/123.txt; \
echo 'one \/ two // six //  \/ three' >> /tmp/123.txt; \
echo 'one | // two | // three' >> /tmp/123.txtполучим

Код: [Выделить]

cat 123.txt
one two three
one \/ two // six //  \/ three
one | // two | // three
применим

Код: [Выделить]

QQ=( six //); sed -i "/$QQ/d"  /tmp/123.txtполучим

Код: [Выделить]

cat 123.txt
one two three
one | // two | // threeПользователь добавил сообщение 02 Июня 2021, 05:57:09:Вообще с корявой переменной, которую я указал это весьма для частных случаев.

Вот такая команда может, на мой взгляд лучше подойти:

Код: [Выделить]

find . -type f -name "*.txt" -exec bash -c 'sed -i "/one.*two.*six.*three/d" "$0"' {} \;
Т.е. смысл чтобы из строки типа :

Код: [Выделить]

one \/ two // six //  \/ threeубрать все „проблемные места”…

[Ввысь]

qpdb, в силу моих небольших знаний я видимо не въезжаю как это можно использовать.
Можете описать поподробнее?

у меня два файла, первый выглядит так

синий/белый
желтый
коричневый
34
56/7

второй файл

желтый
синий/белый
красный/зеленый
черный
коричневый
33
2/67
по способу ALiEN175,  все работает, но только если нет слов с -->/, если я убираю все слова с -->/ все работает, как только попадается слово с -->/ все ломается.

[qpdb]

Приветствую!
Ввысь,

в силу моих небольших знаний

У меня они тоже не шикарные , во всяком случае никакого избытка знаний я у себя не наблюдаю…

Вашу ситуацию я вижу так: у Вас есть определённое количество текстовых файлов, для простоты, предположим, что они находятся в одной директории.

Из этой группы файлов Вам нужно удалить строки, которые содержат допустим ❰  ' @ # синий/белый \/ // 😎 \n all sorts of nonsense ❱. Предполагаем, для простоты, что во всех этих файлах то что в ❰❱ идентично.

У меня проблемы с терминологией на русском языке, я и не носитель русского, не нахожусь среди русскоговорящих, использую этот язык только на письме, прошу это учесть.

Без экранизации пробелов, „/”, „)”, „(” и ряда других символов sed не будет обрабатывать pattern (образец).

Потому образец нужно предварительно подготовить. Проще всего это сделать так:

Код: [Выделить]

  ' @ # синий/белый \/ // 😎 \n all sorts of nonsense  ⮞⮞ Др…
.*синий.*белый.*all.*sorts.*of.*nonsense.*             ⮞⮞ После…
Далее с готовым образцом для удаления можно пойти разными путями.

Мною описан вариант для единичного образца, т.е. далее

Код: [Выделить]

find . -type f -name "*.txt" -exec bash -c 'sed -i "/.*синий.*белый.*all.*sorts.*of.*nonsense.*/d" "$0"' {} \;
Из всех файлов файлов в директории будет удалено
❰  ' @ # синий/белый \/ // 😎 \n all sorts of nonsense ❱ т.е. то что в ❰❱…

Если удалять нужно разные образцы и они содержат специальные символы, то возможно придётся писать короткий скрипт.

[Ввысь]

нужно удалить строки, которые содержат допустим

немного не так, мне нужно удалить совпадающие

примерно так

в одном файле слово - синий
во втором файле слово - синий
удаляем из первого файла слово - синий

но там попадается символ /, вот тут все перестает работать

[ALiEN175]

Код: [Выделить]

while read pattern ; do
    find /dir/ -type f -exec sed -i "/${pattern//\//\\/}/d" {} \;
done < /dir/123.txtудаляет, кстати не слово а всю строчку, содержащую $pattern.

Для удаления только совпадения

Код: [Выделить]

while read pattern ; do
    find /dir/ -type f -exec sed -i "s/${pattern//\//\\/}//g" {} \;
done < /dir/123.txt

Пользователь добавил сообщение 02 Июня 2021, 17:45:36:ИЛИ 

Код: [Выделить]

while read pattern ; do
    find /dir/ -type f -exec sed -i "~$pattern~d" {} \;
done < /dir/123.txt

Код: [Выделить]

while read pattern ; do
    find /dir/ -type f -exec sed -i "s~$pattern~~g" {} \;
done < /dir/123.txt

[Ввысь]

ALiEN175, первый и второй вариант ругаются вот так

Код: [Выделить]

./prov.sh: 12: ./prov.sh: Bad substitution
третий выдал много строк

Код: [Выделить]

sed: -e expression #1, char 3: invalid usage of +N or ~N as first address
четвертый рабочий, но остаются пустые строки, потом убираю их так

Код: [Выделить]

sed -i '/^$/d' all_data.txt
а возможно за одно действие и пустые строки убирать?

[qpdb]

Ввысь, а можно ли все ваши txt файлы объединить в один? В смысле :

Код: [Выделить]

cat *.txt > MIX.txtЭто повлияет на задачу?

Если не повлияет, то в объединённом файле можно будет удалить все дубликаты вот такой командой.

Код: [Выделить]

awk -i inplace '!($0 in a) {a[$0];print}' MIX.txt
При этом порядок строк не изменится , пустая строка будет во всём файле только одна.

Вообще пустые строки, а также если там только пробелы и табуляция можно удалить вот так:

Код: [Выделить]

sed -i '/^[ \t]*$/d ;s:^[ |\t]*::;s:[ |\t]*$::' MIX.txt

[Ввысь]

Это повлияет на задачу?

Нет, объединять нельзя. Один файл пополняемый, в другом шаблоны.

пустые строки, а также если там только пробелы и табуляция можно удалить вот так

Спасибо, затестирую.