Оказывается надо указывать опцию --shared при компиляции x264 как написано здесь
http://habrahabr.ru/post/127910/
Пользователь решил продолжить мысль 09 Марта 2013, 13:11:13:
Ну наконец-то удалось собрать mplayer, хотя не факт что так как нужно, но результат налицо:

Загрузка ЦП 95%

ПС. avidemux при сборке в варианте gtk ругается
фатальная ошибка: gtk/gtk.h: Нет такого файла или каталога
Компиляция прервана.
и из-за этого не получается собрать

В сети нашел пока только одно решение -- пересобрать gtk2

Пользователь решил продолжить мысль 09 Марта 2013, 13:42:47:
Интересно, а кодировать ffmpeg быстрее чем mencoder? Здесь
https://help.ubuntu.com/community/Compiling%20MPlayer написано, что mencoder лишь оболочка ffmpeg, но некоторые любят его использовать все равно

Пользователь решил продолжить мысль 09 Марта 2013, 14:35:04:
Проблема с gtk.h решилась установкой libgtk-3-dev