Очевидно, проблема была в "недоустановленном" драйвере fglrx. Jockey в 12.04 ведет себя несколько странно: при попытке активировать "проприетарный драйвер AMD (плановые обновления)" говорит, что произошла ошибка, но затем glxinfo | grep render выдает direct rendering: yes, renderer string что-то там с fglrx. Тем не менее, видео идет с глюками и без поддержки XvBA.
Решение заключается в установке проприетарного драйвера без "плановых обновлений" (кстати, что это?), все остальное по хавту: xvba-va-driver, ubuntu-restricted-extras, smplayer/gnome-mplayer + mplayer2.
Другой вариант - установка пакета, скачанного с сайта AMD.
После установки ядра с PAE пришлось руками переустанавливать драйвер (модуль не пересобрался сам, хотя linux-headers соответствующей версии установлен).