137mb тоже много, у меня nvidia и Xorg сьедает 35mb.
xorg.conf что-то слишком большой, сейчас вроде уже многие секции не нужно так прописывать (наверное xorg.conf достался по наследству после многих dist-upgrade?)
Забекапь xorg.conf, удали его, потом сделай новый через dpkg-reconfigure xserver-xorg
и пропиши туда только нужные опции (чтобы активировать драйвер ATI).
Если не поможет, значит проблема в драйвере ATI.