Форум русскоязычного сообщества Ubuntu


Хотите сделать посильный вклад в развитие Ubuntu и русскоязычного сообщества?
Помогите нам с документацией!

Автор Тема: Cписок файлов сайта  (Прочитано 828 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 2648
    • Просмотр профиля
Cписок файлов сайта
« : 12 Июля 2016, 20:43:51 »
Как получить список всех файлов, директорий сайта и размеры каждого файла?

Оффлайн z-user

  • Активист
  • *
  • Сообщений: 605
  • Ubuntu User
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #1 : 16 Июля 2016, 15:11:31 »
Как получить список всех файлов, директорий сайта и размеры каждого файла?

Если копия сайта есть на локальном ПК то в Double Commander есть такая фишка как сделать список со всех файлов без папок.
Только что проверил с удаленной FTP папкой сайта - не работает.

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3487
  • Ubuntu 22.04 х64
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #2 : 16 Июля 2016, 16:54:03 »
renzrv, моя твоя не понимать. Опишите нормально проблему: а то хочу то, сам не знаю что!

Если файлы лежат локально, то один из вариантов еще
Код: (bash) [Выделить]
du -h

Если же только есть вебинтерфейс - то никак (надо парсить все страницы сайта, и то врятли они будут реальными файлами), разве что включено +Indexes

HP Pro 840 G3: Intel i5-6300U, 32GB DDR4 2133MHz, Intel 520, Intel Pro 2500 180GB/Ubuntu 22.04
Dell Latitude 5590: Intel i5-8350U, 16GB DDR4 2400MHz, Intel 620, Samsung 1TB/Ubuntu 22.04

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 2648
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #3 : 16 Июля 2016, 19:22:02 »
Цитировать
Если копия сайта есть на локальном
сайт конечно не локальный.

Поясню: например когда wget с прарметром -r зеркалит и качает все файлы сайта,
можно ли сделать подобное (с curl например), но чтобы содержимое всех файлов не качалось,
а только воссоздалось дерево директорий сайта с пустыми файлами?
и еще получить атрибуты файлов: размер/дата модификации.

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3487
  • Ubuntu 22.04 х64
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #4 : 17 Июля 2016, 08:23:01 »
renzrv, Вижу Вы не видите даже разницы между файлами и структурой веб интерфейса. Это не одно и то же!

wget - парсит полученые страницы на предмет ссылок и потом качает их.

Соответственно, Вам надо реализовать свой парсер, а с помощью чего получать уже сами странички - без разницы. И да, в заголовках ответа, содержится размер и дата модификации, хотя для динамических страниц дата может возвращаться неверной)
HP Pro 840 G3: Intel i5-6300U, 32GB DDR4 2133MHz, Intel 520, Intel Pro 2500 180GB/Ubuntu 22.04
Dell Latitude 5590: Intel i5-8350U, 16GB DDR4 2400MHz, Intel 620, Samsung 1TB/Ubuntu 22.04

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 2648
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #5 : 17 Июля 2016, 18:48:36 »
Разницу понял, спасибо. Получается нет варианта без скачавания всех страниц,
и поиска в них ссылок на файлы получить список файлов контента сайта.
Может гугл или какой нибудь сервис анализа сайтов это выдает?

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3487
  • Ubuntu 22.04 х64
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #6 : 17 Июля 2016, 19:28:24 »
renzrv, зачастую, для улучшения индексации сайта и раскрутки оного еще есть sitemap.xml или его аналог прописаный в robots.txt. но все файлы там не представлены
HP Pro 840 G3: Intel i5-6300U, 32GB DDR4 2133MHz, Intel 520, Intel Pro 2500 180GB/Ubuntu 22.04
Dell Latitude 5590: Intel i5-8350U, 16GB DDR4 2400MHz, Intel 620, Samsung 1TB/Ubuntu 22.04

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 2648
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #7 : 17 Июля 2016, 19:37:18 »
Ок, ясно.

Оффлайн Sergiy17

  • Любитель
  • *
  • Сообщений: 88
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #8 : 17 Июля 2016, 22:22:58 »
xenu позволяет собрать все ссылки с сайта и проверить их, но не знаю работает ли она в wine.
Лучший способ в чём-то разобраться до конца — это попробовать научить этому компьютер." (с) Дональд Кнут

 

Страница сгенерирована за 0.029 секунд. Запросов: 23.