renzrv, Вижу Вы не видите даже разницы между файлами и структурой веб интерфейса. Это не одно и то же!
wget - парсит полученые страницы на предмет ссылок и потом качает их.
Соответственно, Вам надо реализовать свой парсер, а с помощью чего получать уже сами странички - без разницы. И да, в заголовках ответа, содержится размер и дата модификации, хотя для динамических страниц дата может возвращаться неверной)