Помогите с парсингом данных из файла средствами консоли(bash, awk)

[fill.sa]

Товарищи гуру, поделитесь советом.
Значиться имеется csv файл с данными на пару тыс строк и все это сейчас парситься через разные костыли и в конце через exel.
Хочется переделать, чтобы все делалось запуском одного скрипта из консоли.

Сам файл имеет строки такого вида:

Код: [Выделить]

"инфа";"инфа";"инфа";"инфа";"инфа";"инфа";"инфа";"НОМЕР_ОБОРУДОВАНИЯ";"инфа";"инфа";"инфа";"инфа";"инфа";"инфа";"инфа";"инфа";"СУММА";"инфа"
Задача получить два столбца "НОМЕР_ОБОРУДОВАНИЯ" "СУММА" (8 и 17 столбцы), при условии что в "НОМЕР_ОБОРУДОВАНИЯ" номера повторяются и соответственно сумма должна быть просумирована по всем повторам.

Смог набросать такой код, но цикл работает ну оооочень долго и по итогу получаю белеберду а не нужные столбцы.

Код: [Выделить]

grep -v -e "test" $INFILE | awk -F ";" '{print $8 " " ,$17 }' > $TMPFILE2


for x in `cat $TMPFILE2 | awk -F " " '{print$1}'`;
do
grep $x $TMPFILE2 | awk -F " " '{sum+=$2;} END{print $x " ", $sum}' >> "$VKLADKA3FILE"
sed -i "/$x/d" $TMPFILE2
done

cat $TMPFILE2 >> "$VKLADKA3FILE"
sed -i "/^$/d" "$VKLADKA3FILE"

[inkblack]

1. Я думаю, что надо _один раз_ скормить этот файл awk — он вполне позволяет делать сложные обработки данных.
Не надо сто раз вызывать grep в цикле.

2. Что-то вы не договариваете. Зачем grep -v -e "test"? В файле есть что-то еще?

3. Что надо сделать?

"и";...;"и"; "100" ;"и";...;"и"; "20" ;"и"
"и";...;"и"; "100" ;"и";...;"и"; "30" ;"и"
"и";...;"и"; "999" ;"и";...;"и"; "11" ;"и"

=>

100 50
999 11

— так? (Номер == 100 -> 20+30, Номер == 999 -> 11)

Прислали бы примерчик файла, хотя бы строк 10.

[fill.sa]

1.Что-то познаний не хватило, вот и пришел за советом. Больно мудреный этот awk )

2.Да, в файле есть строки с пробным оборудованием(test подписывается) оно не должно учитываться, во и отсеиваю через grep -v -e "test"

3. да вы правильно все поняли.


Сам файлик не могу выложить, там инфа с адресами и тд которую лучше не показывать.
Но вот такого формата файл

Код: [Выделить]

"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0
"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0
"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0
"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0
"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0
"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0
"ааа ""бббббббб""";ввввв;ул. яяяяяяя, 16;г Рррррр;100199101;100071552;0;10019900;10019900;лллллллл;557;30.06.2018;1;0;2.00;0.00;2.00;1;1;8;0;0
"ббб ""фффффффф""";ггггг;пр-т оооооо, 20;г Мммммм;100206101;700048682;0;10020600;10020600;кккккккк;3080;30.06.2018;2;0;2.00;0.00;2.00;1;3;2;0;0


[inkblack]

Есть очень хорошая книжка:
Alfred V. Aho, Brian W. Kernighan, Peter J. Weinberger — «The AWK programming language».
Рекомендую. Язык несложный вполне.

Код: (bash) [Выделить]

awk -F";" '
#   Правильно будет работать при условии ...
    { num[$8] = $8; sum[$8] += $17 }
END { for (res in num) print num[res], sum[res] }' infile
В качестве самостоятельного упражнения сами избавьтесь от   -F";",   от   grep -v "test"   и попробуйте понять, при каком условии будет правильно работать.

(Вижу, вы приложили заметные усилия, а результат был не очень. Я думаю, что сто́ит постараться в правильном направлении)

(Нажмите, чтобы показать/скрыть)

В екселе тоже несложно, там есть функция   =СУММЕСЛИ(),   но с   awk   это вообще одним движением делается, да.

[Azure]

inkblack, а зачем еще один массив (num)?

Код: [Выделить]

{ sum[$8] += $17 }
END { for (res in sum) print res, sum[res] }*интригу с test сохраняю, а по поводу -F сам не понял что Вы имели ввиду...

[inkblack]

Может быть, я неправильно что-то понял в   awk,   но:
sum[1]=10
sum[2]=20
for (res in sum) print res, sum[res]
— что напечатает?

У меня там и вправду есть ненужное усложнение, но не настолько. Завтра допишу, сейчас — спать.

[victor00000]

Код: [Выделить]

for x in `cat $TMPFILE2 | awk -F " " '{print$1}'`;


Код: [Выделить]

while read x
do
....
done < $TMPFILE2


[Azure]

что напечатает?

Самому сложно проверить?

Код: (html5) [Выделить]

awk 'BEGIN{sum[1]=10;sum[2]=20;for(res in sum)print res,sum[res]}'
1 10
2 20Пользователь добавил сообщение 03 Июля 2018, 09:47:52:

В екселе тоже несложно, там есть функция   =СУММЕСЛИ()

Если мы заговорили про эксель, то через сводную таблицу задача решается намного проще суммирования по условию

[inkblack]

...
Самому сложно проверить?

Код: (html5) [Выделить]

awk 'BEGIN{sum[1]=10;sum[2]=20;for(res in sum)print res,sum[res]}'
1 10
2 20

— с телефона ночью писал, вот и не проверил

Код: (html5) [Выделить]

1 10
2 20— Значит, я действительно неправильно понял этот момент в   awk.

а по поводу -F сам не понял что Вы имели ввиду...

Это не писать

Код: (bash) [Выделить]

awk -F ";" '# команды ...'А просто

Код: (bash) [Выделить]

awk '# другие команды ...'

[Azure]

А просто

Все равно не понял. Разделитель ведь так и есть точка с запятой...

[fill.sa]

inkblack, а зачем еще один массив (num)?

Код: [Выделить]

{ sum[$8] += $17 }
END { for (res in sum) print res, sum[res] }*интригу с test сохраняю, а по поводу -F сам не понял что Вы имели ввиду...

Подправил только вывод накоце с табом между столбами , а так в остальном то что нужно. Правда пока плохо понимаю что тут происходит - нужно вникать.

Спасибо большое.
Пользователь добавил сообщение 06 Июля 2018, 18:53:31:

awk -F ";"

Это нужно, во входящем файле столбцы через ; разбиты же.

[inkblack]

Есть очень хорошая книжка:
Alfred V. Aho, Brian W. Kernighan, Peter J. Weinberger — «The AWK programming language».

Там всё есть.

awk -F ";"

— просто можно по-другому то же самое указать.