Форум русскоязычного сообщества Ubuntu


Увидели сообщение с непонятной ссылкой, спам, непристойность или оскорбление?
Воспользуйтесь ссылкой «Сообщить модератору» рядом с сообщением!

Автор Тема: Cписок файлов сайта  (Прочитано 357 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 1970
    • Просмотр профиля
Cписок файлов сайта
« : 12 Июль 2016, 20:43:51 »
Как получить список всех файлов, директорий сайта и размеры каждого файла?

Оффлайн z-user

  • Активист
  • *
  • Сообщений: 604
  • Ubuntu User
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #1 : 16 Июль 2016, 15:11:31 »
Как получить список всех файлов, директорий сайта и размеры каждого файла?

Если копия сайта есть на локальном ПК то в Double Commander есть такая фишка как сделать список со всех файлов без папок.
Только что проверил с удаленной FTP папкой сайта - не работает.

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3096
  • Ubuntu Mate 16.04 х64
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #2 : 16 Июль 2016, 16:54:03 »
renzrv, моя твоя не понимать. Опишите нормально проблему: а то хочу то, сам не знаю что!

Если файлы лежат локально, то один из вариантов еще
Код: Bash
  1. du -h
  2.  

Если же только есть вебинтерфейс - то никак (надо парсить все страницы сайта, и то врятли они будут реальными файлами), разве что включено +Indexes

Fujitsu UH552: Intel Core i3-3217U, 16GB DDR3 1600MHz, Intel HD4000, Intel 535 120GB/Ubuntu 16.04 Mate
HP 625: AMD Athlon P320, 4GB DDR3 1333MHz, AMD HD4250, Seagate Momentus/Ubuntu 14.04 Mate

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 1970
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #3 : 16 Июль 2016, 19:22:02 »
Цитировать
Если копия сайта есть на локальном
сайт конечно не локальный.

Поясню: например когда wget с прарметром -r зеркалит и качает все файлы сайта,
можно ли сделать подобное (с curl например), но чтобы содержимое всех файлов не качалось,
а только воссоздалось дерево директорий сайта с пустыми файлами?
и еще получить атрибуты файлов: размер/дата модификации.

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3096
  • Ubuntu Mate 16.04 х64
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #4 : 17 Июль 2016, 08:23:01 »
renzrv, Вижу Вы не видите даже разницы между файлами и структурой веб интерфейса. Это не одно и то же!

wget - парсит полученые страницы на предмет ссылок и потом качает их.

Соответственно, Вам надо реализовать свой парсер, а с помощью чего получать уже сами странички - без разницы. И да, в заголовках ответа, содержится размер и дата модификации, хотя для динамических страниц дата может возвращаться неверной)
Fujitsu UH552: Intel Core i3-3217U, 16GB DDR3 1600MHz, Intel HD4000, Intel 535 120GB/Ubuntu 16.04 Mate
HP 625: AMD Athlon P320, 4GB DDR3 1333MHz, AMD HD4250, Seagate Momentus/Ubuntu 14.04 Mate

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 1970
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #5 : 17 Июль 2016, 18:48:36 »
Разницу понял, спасибо. Получается нет варианта без скачавания всех страниц,
и поиска в них ссылок на файлы получить список файлов контента сайта.
Может гугл или какой нибудь сервис анализа сайтов это выдает?

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3096
  • Ubuntu Mate 16.04 х64
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #6 : 17 Июль 2016, 19:28:24 »
renzrv, зачастую, для улучшения индексации сайта и раскрутки оного еще есть sitemap.xml или его аналог прописаный в robots.txt. но все файлы там не представлены
Fujitsu UH552: Intel Core i3-3217U, 16GB DDR3 1600MHz, Intel HD4000, Intel 535 120GB/Ubuntu 16.04 Mate
HP 625: AMD Athlon P320, 4GB DDR3 1333MHz, AMD HD4250, Seagate Momentus/Ubuntu 14.04 Mate

Оффлайн ReNzRv

  • Автор темы
  • Старожил
  • *
  • Сообщений: 1970
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #7 : 17 Июль 2016, 19:37:18 »
Ок, ясно.

Оффлайн Sergiy17

  • Любитель
  • *
  • Сообщений: 88
    • Просмотр профиля
Re: Cписок файлов сайта
« Ответ #8 : 17 Июль 2016, 22:22:58 »
xenu позволяет собрать все ссылки с сайта и проверить их, но не знаю работает ли она в wine.
Лучший способ в чём-то разобраться до конца — это попробовать научить этому компьютер." (с) Дональд Кнут

 

Страница сгенерирована за 0.064 секунд. Запросов: 24.