ffmpeg тоже умеет.
точнее, ейные библиотеки libavformat, libavdevice, libavcodec, libavutil и libswscale
Не интересовался, может быть, есть libmplayer (о, кстати, надо бы

).
Точно знаю, есть libvlc.
Уточните, что Вам хочется, разбора отдельных байтов, битов и регистров (типа разработки драйвера) или же работы с готовыми картинками.
libav* предоставляют достаточно высокоуровневый интерфейс - они выдают пользователю за один вызов функции уже готовые закодированные видео кадры или аудио-фреймы и позволяют декодировать их.
Или же, если у юзера есть раскодированный кадр или аудиосемплы, позволяют их закодировать и записать в файл.
При этом детали обработки аудио-видеопотока остаются внутри библиотек и пользователю не показываются.
openCV тоже, кажется, работает с v4l