Пока не освобожден дескриптор, связанный с файлом, физически файл не будет уничтожен. Ищи, этот файл может занят другим процессом. В помощь могу посоветовать пройтись по открытым файлам командой ls -la /proc/*/fd | grep "^/\|deleted", которая поможет понять, которыми процессами открыты удалённые файлы.