Попробуйте ffmpeg -i video.avi -ac 2 -acodec pcm_s16le sound.wav
Нашел на ЛОРе.
У меня возникла такая же задача, только звук был в flv. Самостоятельное чтение man ffmpeg не помогло, а поиск дал этот результат.
Если перекодировать сразу в mp3, звук почему-то получался хуже, чем в wav.
Удачи!