варианты.
1. MPlayer (
www.mplayerhq.hu) - кроссплатформенный
Играет практически все известные форматы.
У него нет оконного интерфейса, командуется он с клавиатуры.
Еще (самое главное) у него среди прочих есть ключи -slave и -wid.
По первому ключу он читает команды из stdin и пишет свои сообщения в stdout. Можно его запустить из своей программы функцией popen и командовать им просто записывая функцией write команду в соотв. дескриптор. Все команды описаны.
Ключом -wid можно задать ID окна (нарисованного, разумеется, тоже своей программой), в котором он и будет выводить картинку.
Т.е. можно просто написать обертку вокруг него. Такие уже есть - kmplayer, smplayer.
Умеет работать через SDL, OpenGL и еще кучу всего, даже в текстовом терминале умеет картинку рисовать.
Единственный его недостаток - отсутствие покадровой перемотки назад.
(в сторону) Сволочь! Как бы он мне жизнь облегчил!
2.
www.dranger.com/ffmpegтут tutorial, как написать видеоплеер на основе SDL и FFmpeg
ffplay из FFmpeg - это, как я понимаю, расширенный и улучшенный тьюториал.
Тоже все кроссплатформенное.
Для институтского курсовика, скорей всего, сойдет.
3. GStreamer (
http://gstreamer.freedesktop.org)
Тоже кроссплатформенный пакет типа DirectShow из винды.
Есть байндинги к питону, там среди примеров уже готовый плеер.
4. xine (
http://xinehq.de)
Еще одна мультимедийная библиотека. Kaffeine KDEшный использует ее по умолчанию.
Присматриваюсь. Имеются и файлы для компиляции под visual studio 6.
5. Еще есть helix player и, кажется, что-то еще было.