serega007,
Правильнее будет предварительно разжать видео в raw или lossless формат, затем вырезать ненужное, а уж после этого конечный результат зажать в h264...
Для разжатия сгодится FFmpeg, для вырезания Avidemux, для конечного сжатия - Avidemux же (можно и ffmpeg но это не оправданно лишнее телодвижение)...
Строка для разжатия в lossless (без потерь в качестве):
ffmpеg -i /path/input.mts -vcodec ffv1 -g 1 -qmin 1 -qmax 1 -acodec pcm_s16le -f avi /path/output.avi
На выходе будет файл раза в два-три крупнее оригинала, но после окончания работы с ним (резка, конвертирование на выход) - его можно будет удалить...
Почему именно так? В файлах формата *.mts *.m2ts обычно используются промежуточные кадры, а резка на промежуточных кадрах может привести (не обязательно но может) к артифактам изображения (глюкам)...