нужно написать программу (думаю на C++) для математических вычислений.
C++ для научных расчетов - порочная практика.
Погрязнете в обработке массивов поэлементно в циклах, отлове багов сутечкой памяти, повисшими указателями и прочими прелестями низкоуровневого языка.
Уже давно существуют кроссплатформенные пакеты с богатейшими библиотеками.
Есть R, octave, scipy, root, из коммерческих самый известный - matlab.
Единственным оправданием использованию C/C++ в этой области может быть необходимость обработки данных в реальном времени, да и то не всегда.
Забыл добавить, для рисования графиков у этих программ есть свои средства, однако, в R помимо этого можно использовать GTK и QT - есть соответствующие привязки.