Не судите строго, если неправильно догадался.
Есть такие обстоятельства:
Не все алгоритмы сжатия позволяют сжимать без потерь информации. Т.е. при некоторых способах сжатия если одно и то же видео туда сюда разжимать и сжимать заново бесконечно, то оно превратится просто в цветное пятно (преувеличиваю, чтобы пояснить). По этим причинам после расжатия-сжатия размер файла немного разный.
Есть открытые алгоритмы сжатия, есть проприетарные. ffmpeg не факт, что умеет все способы, которымии пожаты сабжевые видио. Надо проверять. Т.е. разжимать-то оно умеет, а жмёт уже другим кодеком. Надо смотреть и проверять. (mp4 в конце файла не определяет использованный кодек, mp4 - это только контейнер, в который можно записать в разном формате)
Чтобы избежать этих проблем, нужно заранее всё это знать и планировать. На практике это может означать отказ от некоторых платных благ цивилизации, своевременное пережатие после камеры, повышенный раход места на накопителях.
Есть софт, сравнивающий изображения по внешнему виду. digiKam, например, содержит в себе такой, должен быть и отдельный софт, или (вероятно) она в ком.строке умеет сравнивать два файла. Если бы делал самопальный анализатор качества, то дёргал бы скриптом стоп кадры из прозвольных моментов времени из старого и нового видео и сравнивал таким софтом.
Резюме: да, правильно, или руками, или скриптами, пребрать видео и обработать каждое уникальным способом. Если кроме шелла знаете др. современные языки, то советую на них обратить внимание, а уже из них вызывать шелл утилиты, когда у них нет простой алтьтернативы (проще будет).