имхо, освобождение оперативки толку не даст, если только ее не в обрез
нужно думать, как снизить нагрузку на проц, а это значит - переносить вычисления на видеокарту или отключать примочки, улучшающие качество картинки
я не в курсе, видеокарта поддерживает vdpau? попробовать его
а так - пробовать разные видеоустройства и смотреть нагрузку проца - чем ниже, тем лучше