Bash. Работа с текстом. Поиск. Замена. Добавление в конец файла.

[Dark Smoke]

Добрый день
Сижу второй день над скриптом, не могу реализовать.

1. Есть файл с настройками key=>value
2. Мне дают новые настройки. Обычно это 4 - 5 новых настроек. Их надо добавить в файл.
3. если есть такие уже то заменяю значения
4. если нет, то добовляю в конец файла

Вот не как не получается на баше такое написать((

Например:

есть my.conf

Код: [Выделить]

param=test
url=my.domen.ru
json={'ddd':'222'}
Мне дали новые настройки которые мне надо добавить в файл my.conf

Код: [Выделить]

url=why.my.domen.ru
bat=true
То, ожидаемые действия:
1. url должен замениться на новое значение
2. bat добавиться в конец файла

Давать переменные хочу все сразу, например из другого файла.

[ALiEN]

Код: [Выделить]

comm --check-order -1 my.conf new.conf

[Dark Smoke]

Код: [Выделить]

comm --check-order -1 my.conf new.conf

comm - это что?
У меня в баше нет такой команды?

[Sly_tom_cat]

https://ru.wikipedia.org/wiki/Comm

[samson2]

http://rus-linux.net/MyLDP/HOWTO-ru/Bash-Progr-Intro-HOWTO/Bash-Prog-Intro-HOWTO.html

[Sly_tom_cat]

Код: [Выделить]

comm --check-order -1 my.conf new.conf

Кстати, у меня не сработало.
после сортировки файлов (что потребовал comm) мне эта команда выдала второй файл (сортированный)

Код: [Выделить]

$ comm --check-order -1 f0 f1
bat=true
url=why.my.domen.ru
без опции -1 дает:

Код: [Выделить]

$ comm --check-order f0 f1
bat=true
json={'ddd':'222'}
param=test
url=my.domen.ru
url=why.my.domen.ru


Совсем недавно решал подобную задачу в питоне - там через регулярные выражения решилось все достаточно красиво, но кода все равно довольно много вышло. Хотя конечно там чуточку иная задача была - и чисто такую можно довольно короким кодом обойтись.

В принципе по регулярке подменить значение можно через sed. Но для начала надо разделить второй файл на те что нужно обновлять и просто добавлять - как это сделать баше - я не скажу - просто не силен я в баше

[Punko]

Если через comm не выйдет, можно попробовать через grep.
Если ответ grep не пустой, то сначала удаляем исходную строку и вписываем новую.
Если ответ пустой, то просто вписываем.
Но костыль полнейший =)
Красивее искать sed`ом подстроку и заменять.

[ALiEN]

мда, поторопился я: comm тут не подойдет(

[Sly_tom_cat]

Если порядок следования переменных не важен, то можно красиво и довольно просто решить в питоне через словарь (dict), ну и конечно регулярка нужна для простого выделения ключа, хотя можно и через поиск '=' решить этот вопрос и простыми операциями над строками

Код: (python) [Выделить]

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import re, sys

with open(sys.argv[1], 'tr') as f:
  org = dict([(re.findall(r'(.*)=', l)[0], l) for l in f])
with open(sys.argv[2], 'tr') as f:
  for l in f:
    org[re.findall(r'(.*)=', l)[0]] = l
for v in org.values():
  print(v, end='')

Записать код в файл (например: confjoin) и дать ему права на исполнеие (chmod -ax confjoin)
Вызывать confjoin <первый файл> <файл с обновлениями> (если confjoin не лежит в PATH то тогда к нему нужно полный путь указать для запуска)

ЗЫ Сортировка файлов не важна.
ЗЫЫ проверки входных параметров нет - т.е. если не то что-то задать - просто вывалится ошибкой.

[Sly_tom_cat]

Вот нормальный интерфейс командной строки навесил:

Код: (python) [Выделить]

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import re, argparse

# Parse command line arguments
parser = argparse.ArgumentParser(description='Joins original and update configuration files.')
parser.add_argument('f0', metavar='orig_file', help='Path to original configuration file')
parser.add_argument('f1', metavar='update_file', help='Path to file with new and updated configuration values')
arg = parser.parse_args()

with open(arg.f0, 'tr') as f:
  org = dict([(re.findall(r'(.*)=', l)[0], l) for l in f])
with open(arg.f1, 'tr') as f:
  for l in f:
    org[re.findall(r'(.*)=', l)[0]] = l
for v in org.values():
  print(v, end='')
Тут и параметры потребует и usage напечатает (если параметров нужных не будет) и -h ключ вызова обработает.

Код: [Выделить]

$ ./confjoin -h
usage: confjoin.py [-h] orig_file update_file

Joins original and update configuration files.

optional arguments:
  -h, --help   show this help message and exit

Arguments:
  orig_file    Path to original configuration file
  update_file  Path to file with new and updated configuration values

... впринципе - вполне нормальная утилита получилась....

[Azure]

Удобно на awk

Код: (bash) [Выделить]

awk '
    BEGIN{FS=OFS="="}
    {A[$1]=$2}
    END{for(i in A)
        print(i, A[i])>ARGV[1]}
    ' my.conf new.conf

[Sly_tom_cat]

Azure, браво! 

Я вот белой завестью завидую людям которые одной строчкой баша реализую десяток строк питона или пару тысяч строк на С

[Azure]

Можно и sed

Код: (bash) [Выделить]

sed -zr ':;s/(\b[^\n=]+=)[^\n]+\n(.*\1)/\2/;t;w my.conf' <(cat my.conf new.conf)

[Azure]

Можно и grep'ом(но менее эффективно)

Код: (bash) [Выделить]

cat <(grep -o '^[^=]\+' new.conf | grep -wvFf - my.conf) new.conf

[Punko]

Azure,
Это великолепно. Никак не могу осилить sed до такого уровня, а awk дфже трогать пока что боюсь.