maxximum,
Вы либо лукавите, либо что-то не так делаете. У меня в VirtualBox стоит гостевая система Ubuntu Studio 15.10, с выделенными для её работы следующими ресурсами: 1 CPU + 2Gb RAM + 8 Gb HDD. Версия gscan2pdf 1.3.4. До внесения изменений в конфигурационные файлы gscan2pdf выдает те же самы ошибки, что и у Вас. После изменений в конфигурации, gscan2pdf отлично собирает как pdf, так и djvu из ~1200 jpeg-файлов. Без ошибок! Покажите вывод:
ulimit -a