У меня она нормально работает (единственная прога, которая нормально конвертирует для моего домашнего кинотеатра). Правда, я такие большие файлы не конвертировал. Попробуй tragtor, может поможет.
Еще мысль возникла: система, случайно не 32-х битная? Там на процесс больше 4гиг нельзя выделить, может из-за этого проблема.