если у вас есть swap, любая программа может скинуть туда данные, даже при свободной оперативной памяти.
Если хотите вмешаться в эти процессы, перед этим стоит прочитать и понять очень много информации. Начните с параметров vm.swappiness и vm.vfs_cache_pressure