ТС, просто перед тем, как вынуть флэшку, надо очистить корзину.
А быстро форматировать можно "Дисковой утилитой" (по-моему, в 13.04 называется "Диски").
Кстати, даже после форматирования данные можно восстановить, в том числе, если форматировать из под Windows.