приоритет для mencoder формат avi
переименуй исходное видео, например video.mkv
много звуковых дорожек, нужно указать конкретно -aid 0
попробуй так:
mencoder video.mkv -noautosub -oac mp3lame -aid 0 -ovc lavc -vf-add scale=720:480 -vf-add expand=720:480:-1:-1:1 -ffourcc DX50 -lavcopts threads=2:vcodec=mpeg4:trell:mbd=2:sc_threshold=1000000000:cgop:vbitrate=1500 -lameopts abr:br=128 -o divx.avi
или так :
mencoder video.mkv -o DIVX720p.avi -nosub -ffourcc DX50 -ofps 30000/1001 -vf softskip,scale=1280:720:0,harddup -sws 10 -noodml -oac mp3lame -aid 0 -lameopts abr:br=140:aq=4:vol=2.2:mode=1 -ovc xvid -xvidencopts bitrate=7000:threads=2:profile=dxnhdtv:me_quality=6:vhq=4:max_bframes=2:bvhq=1:trellis:chroma_me:chroma_opt:hq_ac:nolumi_mask:closed_gop:noqpel:nogmc:nopacked:rc_reaction_delay_factor=0:rc_averaging_period=100:autoaspect:nointerlacing:psnr
и посмотри тут:
/usr/share/doc/mplayer-doc/HTML/ru/mencoder.html