Ну эксперимент - это конечно самый лучший показатель. Но нужно немного и теории знать.
Дело в том что бешенная часть оперативки отъедается кешем диска. И собственно swappiness (а не swapping) в sysctl.conf и есть тот регулятор который говорит - сколько памяти под приложения занимать а какая часть (остаток) будет пользоваться под кеш данных. С-но то что в указанный лимит не влезет - будет выкинуто в своп.
Своп - это очень медленная память - и когда там оказываются куски кода - исполнение этого кода начинает притормаживать когда нужно выполнить код из блока, который оказался в свопе.
Но фишка в том, что исполняемый код в Linux не такой и большой, и даже с дефолтными 60% на оперативке 2 и более Гб своп почти не используется. А вот с оперативкой менее 1 Гб нужно еще понять - что важнее - кеширование диска или скорость (суммарная) выполнения кода. И тут только эксперимент (с конкретным набором ПО и профилем его использования) покажет - что именно важнее.