Нашел решение. И сдается мне оно не зависит от используемого рабочего стола и менеджера файлов.
Открываем любую папку, идем в меню Правка -> Параметры. Откроются Параметры управления файлами, в нем идем на последнюю вкладку Образцы -> Другие просматриваемые файлы -> Показывать миниатюры -> Всегда (было - Только для локальных файлов). И все, начало выводить превьюшки не только для нужных мне фотографий, а и для видео и pdf-файлов (причем не зависимо от установки ограничения ниже Только для файлов меньше, чем 10 МБ - у меня видео-файлы намного больше 10...).