Посмотрел исходные параметры видео через VLC.
Потом сконвертировал в tragtor - все получилось (картинка как на исходном видео).
кодек libxvid
битрейт посмотрел в исходном файле через vlc, примерно 3120
размер изображения оставил как в исходном видео
частоту кадров тоже оставил как в исходнике
поставил галку 2pass - обработка в 2 прохода, дает изображение получше
контейнер avi
аудио у тебя в файле нет, поэтому для аудио указывать нечего