CONNMARK - марка СОЕДИНЕНИЯ. По сути внутренняя информация системы отслеживания соединений, которая ни на что по большому счёту не влияет сама по себе.
MARK (или FWMARK) - марка ПАКЕТА. Хотя она, как и марка соединения, не существует за пределами конкретного хоста и его заморочек, но по ней, в частности, работает система маршрутизации.
Дальше читай комментарии к правилам в той записи. Пример, кстати, там весьма характерный разобран. Если у тебя структура сети отличается, будут отличаться только правила назначения маркировки, но не вся система целиком.
Яснее стало?