В общем сделал все как советовали и было описано. А точнее...
1. Загрузился с LiveCD.
2. Создал Raid1 средствами B-tree FS.
3. Начинаю устанавливать Ubuntu Server 16.04.
4. В разделе разметки устройства /dev/sda, выбираю "Не форматировать", "Использовать как корневой раздел".
И вот тут установщик выдал ошибку, с тем что при установке, не возможно будет установить загрузочный раздел.
5.Попробовал выбрать /dev/sdb, на удивление установка пошла дальше. Ок.
6. И тут уже установка закончилась потому что вышла ошибка "Не удачное завершение этапа установки GRUB на жесткий диск", я так понимаю, это все потому что /boot не хочет храниться на BTRFS, или не?
Установку ubuntu server выбирал в режиме EUFI, потому что так сказано в пункте
https://help.ubuntu.ru/wiki/btrfs#рекомендации_по_установке_системы_на_btrfs
Так что пока думаю как быть...