[РЕШЕНО] удалить повторы в таблице

[Phlya]

Здравствуйте!
Есть такая задача. Имеется таблица такого вида:

(Нажмите, чтобы показать/скрыть)

island   number   d_magna   d_pulex   d_long   d_curv   scaphol   ceriodap   polyphem   bosmina      chyd_sph
1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   2.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   2.0   0.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
1.0   3.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   3.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   4.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
1.0   4.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
1.0   4.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
1.0   5.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   5.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   5.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
1.0   5.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
1.0   6.0   1.0   1.0   1.0   0.0   0.0   1.0   0.0   1.0   1.0
1.0   6.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   6.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   6.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
1.0   7.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
1.0   7.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
1.0   7.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   7.0   0.0   1.0   0.0   1.0   0.0   0.0   0.0   0.0   1.0
1.0   8.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
1.0   9.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
2.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
2.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
2.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
2.0   1.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
2.0   2.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
2.0   2.0   1.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   2.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
2.0   2.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   3.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
2.0   3.0   1.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
2.0   3.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   4.0   0.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
2.0   4.0   0.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
2.0   4.0   1.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   5.0   0.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   5.0   1.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   5.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
2.0   5.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   6.0   1.0   1.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   6.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
2.0   7.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
2.0   7.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0
2.0   8.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
2.0   8.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
2.0   8.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
2.0   8.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
2.0   9.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
2.0   9.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
3.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0   1.0
3.0   1.0   0.0   0.0   0.0   0.0   1.0   1.0   1.0   1.0   1.0
3.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0   0.0
3.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0   1.0
3.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
3.0   2.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0
3.0   2.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   0.0
3.0   2.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0   1.0
3.0   3.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0   1.0   1.0
3.0   3.0   0.0   0.0   1.0   0.0   0.0   1.0   1.0   1.0   1.0
3.0   3.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   0.0
3.0   3.0   0.0   0.0   1.0   0.0   1.0   1.0   0.0   1.0   1.0
3.0   4.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
3.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
3.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
3.0   4.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0
3.0   5.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0
3.0   5.0   0.0   0.0   0.0   0.0   1.0   1.0   1.0   1.0   1.0
3.0   5.0   0.0   1.0   0.0   0.0   1.0   1.0   1.0   1.0   0.0
3.0   5.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0
3.0   6.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
3.0   6.0   1.0   0.0   0.0   1.0   0.0   1.0   0.0   0.0   0.0
3.0   6.0   1.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0
3.0   6.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
3.0   7.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0
3.0   7.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
3.0   7.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
3.0   7.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
4.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   1.0
4.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   1.0
4.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   0.0
4.0   1.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0   1.0   1.0
4.0   2.0   0.0   0.0   1.0   0.0   1.0   0.0   0.0   1.0   0.0
4.0   2.0   0.0   0.0   1.0   0.0   1.0   0.0   0.0   1.0   0.0
4.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
4.0   2.0   0.0   0.0   1.0   0.0   1.0   1.0   0.0   1.0   1.0
4.0   3.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
4.0   3.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
4.0   3.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
4.0   3.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0
4.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
4.0   4.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
4.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
4.0   4.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
5.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
5.0   2.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
6.0   2.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
6.0   2.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
6.0   2.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
6.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
6.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
6.0   3.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
8.0   3.0   1.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   1.0
8.0   3.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
8.0   4.0   1.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
8.0   4.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   1.0
9.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   2.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
9.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   2.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0
9.0   2.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   3.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   3.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   3.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
9.0   3.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   2.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   3.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0
10.0   4.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   0.0   1.0
10.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   4.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0
10.0   5.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0
10.0   5.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0
10.0   5.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0
10.0   5.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   1.0   1.0
10.0   6.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   1.0   1.0
10.0   6.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0   0.0   1.0
10.0   6.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   6.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   1.0
10.0   8.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   8.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   8.0   1.0   0.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0
10.0   8.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   9.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   9.0   1.0   0.0   1.0   0.0   0.0   1.0   0.0   1.0   1.0
10.0   9.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   9.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   10.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   10.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   10.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   10.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   11.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   11.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   11.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   11.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   12.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   12.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   12.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   12.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   13.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   13.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   13.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   13.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   14.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0   0.0
10.0   14.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0
10.0   14.0   0.0   1.0   0.0   1.0   0.0   1.0   0.0   0.0   0.0
10.0   14.0   0.0   0.0   1.0   0.0   1.0   1.0   0.0   1.0   1.0
10.0   15.0   0.0   0.0   1.0   0.0   1.0   0.0   1.0   1.0   1.0
10.0   15.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0   1.0   1.0
10.0   15.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0
10.0   15.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0
10.0   16.0   1.0   0.0   1.0   1.0   0.0   1.0   0.0   0.0   1.0
10.0   16.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
10.0   16.0   1.0   1.0   0.0   1.0   0.0   1.0   0.0   0.0   0.0
10.0   16.0   1.0   0.0   1.0   0.0   1.0   1.0   1.0   1.0   0.0
10.0   17.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   17.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   17.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   17.0   1.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   21.0   1.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0   1.0
10.0   21.0   1.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0
10.0   21.0   0.0   1.0   0.0   1.0   1.0   1.0   0.0   1.0   0.0
10.0   21.0   0.0   0.0   1.0   0.0   1.0   1.0   1.0   1.0   0.0
10.0   22.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   1.0   1.0
10.0   22.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
10.0   22.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0   0.0
10.0   22.0   1.0   0.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0
10.0   23.0   0.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   1.0
10.0   23.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   1.0   1.0
10.0   23.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   23.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   26.0   1.0   0.0   0.0   0.0   1.0   1.0   1.0   1.0   1.0
10.0   26.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0
10.0   26.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   26.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   1.0
10.0   28.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   28.0   0.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
10.0   28.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
10.0   28.0   0.0   0.0   0.0   0.0   1.0   0.0   1.0   0.0   1.0
10.0   29.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   29.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   29.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   29.0   0.0   0.0   1.0   0.0   0.0   0.0   1.0   1.0   1.0
10.0   30.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   30.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   30.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   0.0
10.0   30.0   1.0   0.0   0.0   0.0   1.0   1.0   0.0   0.0   1.0
10.0   31.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
10.0   31.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0
10.0   31.0   1.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0   0.0
10.0   31.0   1.0   0.0   0.0   0.0   0.0   1.0   0.0   0.0   1.0

Необходимо убрать повторяющиеся сочетания значений в первой и второй колонке, выбрав для оставшегося для каждого столбца (начиная с третьего, разумеется) наибольшее (1 или 0) значение из встречавшихся среди повторяющихся строк.
Как это реализовать? Любыми средствами.
Нагуглил, как просто убрать повторы:

Код: [Выделить]

cat 1.txt | sort | uniq > 2.txt
Если есть знатоки, особенно любопытно, как это сделать в R, но это чисто из интереса.
Пользователь решил продолжить мысль 28 Января 2011, 01:41:32:Для начала, наверное, надо объединить две первые колонки, по которым и сортировать, это я и сам смогу сделать легко. Но дальше не представляю, как подступиться.

[ArcFi]

Необходимо убрать повторяющиеся сочетания значений в первой и второй колонке, выбрав для оставшегося для каждого столбца (начиная с третьего, разумеется) наибольшее (1 или 0) значение из встречавшихся среди повторяющихся строк.

А если в 3-м столбце max будет в 1-й строке, а в 4-м столбце max -- в 5 строке при условии совпадения значений в первых 2-х столбцах, тогда чему отдавать приоритет?

Нагуглил, как просто убрать повторы:

Код: [Выделить]

cat 1.txt | sort | uniq > 2.txt

Оптимальнее так:

Код: [Выделить]

sort -u 1.txt >2.txt
ps
В целом, думаю, имеет смысл реализовывать на awk.

[wl]

В R есть функция aggregate, это лучший вариант, задача как раз для нее.
К сожалению, нет R под рукой, конкретные параметры сказать не могу.
Поскольку там только нули и единицы, можно привести это к типу boolean и для аггрегирования использовать функцию or.

[Phlya]

А если в 3-м столбце max будет в 1-й строке, а в 4-м столбце max -- в 5 строке при условии совпадения значений в первых 2-х столбцах, тогда чему отдавать приоритет?

Надо не отдавать чему-то из них приоритет, в полученной строке должно выбираться для каждого значения максимум среди всех имеющихся в данном столбце (для данного сочетания в первых двух столбцах).

Оптимальнее так:

Код: [Выделить]

sort -u 1.txt >2.txt

Да, наверное.

В R есть функция aggregate, это лучший вариант, задача как раз для нее.
К сожалению, нет R под рукой, конкретные параметры сказать не могу.
Поскольку там только нули и единицы, можно привести это к типу boolean и для аггрегирования использовать функцию or.

Спасибо, сейчас посмотрю, может разберусь.
Что такое тип boolean? Я только начал с R работать.

[wl]

Спасибо, сейчас посмотрю, может разберусь.
Что такое тип boolean? Я только начал с R работать.

логический, два значения, true и false

получить справку по функции - в строке R набрать "?функция" или help(функция).
?aggregate

R форум, рекомендую. Только надо на их список рассылки сначала подписаться.
Я с месяц назад тут выкладывал свою подборку материалов по R, поищите, если интересно.

Да, я, кажется, перепутал. Тип, кажется, называется logical, а не boolean.
Числа приводятся к нему функцией as.logical()

[Phlya]

логический, два значения, true и false

получить справку по функции - в строке R набрать "?функция" или help(функция).
?aggregate

R форум, рекомендую. Только надо на их список рассылки сначала подписаться.

ну, как справку получить я знаю, спасибо)))
За форум тоже спасибо, это я не знал, хотя про список рассылки знаю.

[wl]

За форум тоже спасибо, это я не знал, хотя про список рассылки знаю.

Пардон, болею, поэтому заговариваюсь. Это не форум, на самом деле, а архив их списка рассылки, с поиском.

[Phlya]

Ааа то есть если там создать новую тему, то она отправится всем по почте, кто подписан на список рассылки?

[wl]

Ааа то есть если там создать новую тему, то она отправится всем по почте, кто подписан на список рассылки?

Да.
Аналогичного свойства архивы есть на GMANE и еще где-то.

[Phlya]

Круто.
Разобрался, aggregate помог.

Код: [Выделить]

aggregate(A, by=list(A[,1], FUN=median)Выдает немного шлака в таблице тоже почему-то, но это все исправляется в электронных таблицах, там очевидно. А дальше при обработке уже можно округлить все вверх (чтобы, если была хоть одна 1, значение стало 1)

Код: [Выделить]

apply(A, 2, ceiling). Соответственно, можно потом округлять все вниз, можно по общим правилам (тогда если в половине или более случаев была 1, то станет 1)...
Спасибо!

[wl]

Разобрался, aggregate помог.

Код: [Выделить]

aggregate(A, by=list(A[,1], FUN=median)Выдает немного шлака в таблице тоже почему-то, но это все исправляется в электронных таблицах, там очевидно. А дальше при обработке уже можно округлить все вверх (чтобы, если была хоть одна 1, значение стало 1)

Это все можно сделать in one go... Только я не помню как
Да, а как же так, аггрегировать надо было по первым двум столбцам, а у Вас A[,1]?
 
Можно попробовать что-то типа

Код: [Выделить]

aggregate(A, by=list(A[,1:2]), FUN=function(x){any(x==1)})
или
aggregate(A, by=list(A[,1:2]), FUN=function(x){any(as.logical(x))})


[Phlya]

Для начала, наверное, надо объединить две первые колонки, по которым и сортировать, это я и сам смогу сделать легко. Но дальше не представляю, как подступиться.

Это я легко сделал с помощью электронных таблиц и текстового редактора. Поэтому только первый столбец.
А все вместе можно сделать, написав

Код: [Выделить]

>aggregate (...); apply(...) =)

[wl]

Код: [Выделить]

table<-read.table("table.txt",header=TRUE)
aggregate(table[,3:11], by=list(table[,1],table[,2]), FUN=max)
Вот теперь точно решено.

PS. В файле table.txt данные в том виде, в каком они были под спойлером, с заголовками, разделенные кучей пробелов и т.п., я просто из окошка браузера их скопировал, а в терминале запустил vi и нажал Ctrl-V.

И решение для переменного количества столбцов

Код: [Выделить]

aggregate(table[,-(1:2)], by=list(table[,1],table[,2]), FUN=max)

И самый красивый вариант, который сохранит имена столбцов.

Код: [Выделить]

aggregate(table[,-(1:2)], by=as.list(table[,1:2]), FUN=max)

[Phlya]

Спасибо за уточнение. Почему-то у меня FUN=max не работало, сейчас уже не помню, на что ругалось...