А еще полезно собрать vlc из исходников с минимумом оптимизаций, погонять его под valgrind-ом и отослать выловленные ошибки авторам.
Скорее всего, где-то memory leak. И я даже подозреваю, где. В ffmpeg, в mpegtsenc или рядом.
Мой багрепорт туда висит уже несколько месяцев, но, видать, mpegTS мэйнтейнер загружен или забил на все.