Удаление дублирующихся строк и непосредственное изменение в файле с помощью sed

[alex-sky]

Существует файл в котором продублированы строки.
  Необходимо сверить с эталонной строкой и удалить все строки, оставив нужную строку

Вот исходный текст.

(Нажмите, чтобы показать/скрыть)

workgroup = WORKGROUP
 workgroup = WORKGROUP2
    workgroup = WORKGROUP
      workgroup = WORKGROUP4
workgroup = server
workgroup =server
         workgroup =server

Вот что смог только сделать

(Нажмите, чтобы показать/скрыть)

Код: (Bash) [Выделить]

#Переменные

file=./1.conf

# При использовании функции впоследствии правая часть переменной будет заменена на аргумент $1?,$2 и т.д

reg="workgroup ="
regex="^ workgroup = WORKGROUP"
str=$(grep -x  "${regex}" ${file})

echo -e "str - ${str}"

#if [[ ${str} ]]
#then
# echo "Файл найден"
#else
# echo "Файл не найден"
 
sed  -i -r  "/^\s*${reg}[^ ]/d" ${file}
sed  -i -r  "/^${reg}[ ]/d" ${file}
reg=$(sort ${file} | uniq -d)
echo
echo "${reg}"

Символ табуляции \t в регулярном выражении не заменяет символа \s*, поэтому
указывая образец точного поиска приходится в скрипте использовать клавишу TAB.
 Скрипт который смог сделать удаляет только часть строк.

Может кто знает более удобное решение

[ReNzRv]

Символ табуляции \t в регулярном выражении не заменяет символа \s*, поэтому

заменяет

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

echo -e '\t abc' | sed 's/^\s*//'

[Azure]

Необходимо сверить с эталонной строкой и удалить все строки, оставив нужную строку

Читается как абсолютный бред. Покажите на приведенном примере что Вы хотите видеть в результате.

[alex-sky]

Оставить только такую строку

  workgroup = WORKGROUP,

вместо пробела знак табуляции перед найденной строкой

Пользователь добавил сообщение 30 Июня 2017, 16:07:03:

заменяет

Вот что имею ввиду

grep -x "^\tworkgroup = WORKGROUP" ./file.conf

или

grep -x "^\s*workgroup = WORKGROUP" ./file.conf

не находят искомую строку, то есть строку перед которой стоит символ табуляции.

grep -x - поиск точного вхождения указанного шаблона, это мне и нужно

[ReNzRv]

Код: [Выделить]

grep -Px '\tworkgroup = WORKGROUP' ./file.conf

[Azure]

Оставить только такую строку
  workgroup = WORKGROUP

Код: [Выделить]

sed '/workgroup\s*=/{/^\tw.* = \bWORKGROUP\b/! d}'

[ReNzRv]

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

sed -n '/^\tworkgroup = WORKGROUP$/p' ./file.conf

[Azure]

renzrv, скорее всего это конфиг, и там должны быть, подозреваю, другие параметры, кроме workgroup и их надо оставить. Во-вторых, на всякий случай, я бы использовал тогда …WORKGROUP\s*$

[alex-sky]

grep -Px '\tworkgroup = WORKGROUP' ./file.conf

Да спасибо.

-P, --perl-regexp         ШАБЛОН - регулярное выражения языка Perl

Сам бы я не понял, что здесь нужен вот такой ключ.(я перебирал ключи и возможно что-то не правильно сделал, поэтому и не получалось)
Пользователь добавил сообщение 03 Июля 2017, 17:22:49:

renzrv, скорее всего это конфиг

да, это для конфигурационных файлов

sed '/workgroup\s*=/{/^\tw.* = \bWORKGROUP\b/! d}'

Удаляет все строки, кроме указанной в шаблоне, если будут обнаружены строки идентичные шаблону то они останутся.
 И удаляет пустую строку сразу после последней оригинальной (что не совсем  удобно).

Поясните пожалуйста некоторые моменты :

/workgroup\s*=/ - шаблон, для поиска вхождения, которое нужно заменить
 шаблон состоит из – эталонного слова - workgroup-, после этого слова ищется
\s*=       - любое количество пробельных символов до знака равно.
^\tw.*    – от начала строки, найти символ табуляции, одну букву – w –
.* =      - найти любое количество символов, кроме символа переноса строки (\n )
= \b    - после знака равно найти символ пробела и далее стоит якорь «граница слова»

 Почему здесь решили использовать якорь?

\bWORKGROUP\b

! – для чего он здесь?
d – это флаг для удаления строки

Не могли бы написать по какому шаблону составлено это выражение.
 Например, как я вижу

sed '/шаблон/{/замена/! d}' -

Но я нигде не видел описание такой конструкции, поясните пожалуйста



Пользователь добавил сообщение 03 Июля 2017, 17:51:13:

При вызове флага d можно указывать пару шаблонов - будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними

например, sed '/третий/,/пятый/d' ./file4.txt
 Но не очень похоже на вашу конструкцию .
Пользователь добавил сообщение 03 Июля 2017, 20:35:12:/workgroup\s*=/ - найти все строки вот по - такому шаблону
{/^\tw.* = \bWORKGROUP\b/! d} - удалить все строки , кроме подвыражения '/^\tw.* = \bWORKGROUP\b/ 'заключенного в фигурные скобки
! - этот символ, символ отрицания

 Тогда конструкция будет такого вида

sed "/шаблон//d"

Я правильно все понял ?

[Azure]

sed '/шаблон/{/замена/! d}'

Правильно так

Код: (bash) [Выделить]

sed '/шаблон1/{/шаблон2/! d}' Действие внутри { } будет производится над строками удовлетворяющими шаблон1.

! – для чего он здесь?

! — знак инверсии/отрицания, т.е. удаляться (d) должны строки НЕ содержащие шаблон2
Таким образом удалятся все строки с workgroup, которые НЕ удовлетворяют '\tworkgroup = WORKGROUP'

Почему здесь решили использовать якорь?

Чтоб исключить например "\tworkgroup = WORKGROUP22"