Asm в Linux'е не популярен по историческим причинам, поэтому и литературы мало. Я, если честно, сильно сомневаюсь, что ядро даст вам копаться в видеопамяти, только через обращение к ядру. Возможно стоит посмотреть книгу Р. Лав - Разработка ядра Linux.
Список всех системных вызовов можно посмотреть в unistd.h (точнее в unistd_32.h или unistd_64.h, в зависимости от платформы).