Не все программы на
ура работают в
vBox, особенно, если это с графикой связано.
Если у тебя compiz работает без проблем, то с настройкой видео все нормально. Во
vBox своя виртуальная видеокарта. Там тоже надо указать
3d. Порой внимательно настройки виртуальной машины. Это там есть. Возможно, и еще чего интересного найдешь. Включи аппаратную виртуализацию, если есть - это надо делать и в
Setup реальной машины и в настройках гостевой.
Может, что и поможет.

Если пройдет нормально диагностика DirectX в гостевой машине - придется искать способ вписывания
3dMax по всем, даже китайским, форумам.

Замечено, что кое что из того, что не ставилось на виртуальную машину, вписывалось в вайн. Для добавления в вайн разных нужностей можешь использовать
winetrick:
wget http://www.kegel.com/wine/winetricks -O winetricks
chmod +x winetricks