Я просто установил Ubuntu на флешку как обычно, на винт. Для более старых, чем 9.04 надо обязательно в /etc/fstab сменить опцию atime на relatime (в 9.04 идёт по умолчанию), иначе будет медленно грузиться. Для установки нужно флешку с два ГБ, может даже более. Но я не пробовал альтернативный установочный диск. Теоретически можно всё снести после установки и установить только то, что конкретно нужно, но меня так устраивает.
Единственный нюанс: если хотите пользоваться флешкой и в винде, и отрезаете часть флешки под FAT32 раздел, то этот раздел должен идти первым, иначе Windows (по крайней мере по ХР включительно) впадает в ступор, наткнувшись на непонятный ей раздел свопа (рекомендую хотя бы 128 метров выделить на случай загрузки на машине с 256 метрами памяти) или Linuxа.