Все что ты обновляешь и устанавливаешь работая с Live USB не грузиться на твою Live USB, а грузиться в твою оперативу.
Из чего следует флэшка тут не причем. Другое дело, что ты можешь собрать свой Live CD/Live DVD из которого сделаешь свой Live USB.
Неверно, есть опция (по дефолту включенная) - "При загрузке с этого диска документы и настройки будут: " - "Сохранены в выделенном дисковом пространстве" - создаёт rw сквашфс (или как там её). По опыту - сохраняет всё (ну, кроме tmp может, кэш apt точно сохраняет)
Кстати, ТС совет, если всё же хочет продолжать извращаться, а не создать свой LiveUSB - чистить кэш, логи и т. п.
P.S. Имхо, лучше просто (хотя не совсем просто, но мануалы есть) установить систему на флешку, как на винт, а не мучаться с Live