Форум русскоязычного сообщества Ubuntu


Следите за новостями русскоязычного сообщества Ubuntu в Twitter-ленте @ubuntu_ru_loco

Автор Тема: Несколько сайтов на одном VDS - поисковики индексируют страницы соседних сайтов  (Прочитано 1161 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн alex32

  • Автор темы
  • Новичок
  • *
  • Сообщений: 7
    • Просмотр профиля
Возникла такая проблема: на VDS ubuntu 16.4 на одном IP вертятся несколько сайтов. И поисковики начинают индексировать страницы сайтов, расположенных по-соседству. Домены создавались автоматически из панели управления VestaCP. Подключен SSL letsencrypt. Статика проксируется nginx-ом. В дополнении к этому в REMOTE_ADDR возвращается IP сервера, а не посетителя. Приходится использовать HTTP_X_FORWARDED_FOR. Куда ковырять, что бы исправить эти косяки?

Оффлайн bezbo

  • Старожил
  • *
  • Сообщений: 1428
    • Просмотр профиля
подключить модуль mod_rpaf, в конфиге Apache
<ifmodule mod_rpaf.c>
  RPAFenable On
  RPAFsethostname On
  RPAFproxy_ips 127.0.0.1 ТУТ_ВАШ_IP_АДРЕС
  RPAFheader X-Forwarded-For
</ifmodule>

Оффлайн alex32

  • Автор темы
  • Новичок
  • *
  • Сообщений: 7
    • Просмотр профиля
подключить модуль mod_rpaf, в конфиге Apache
Спасибо. У меня есть такое<IfModule mod_rpaf.c>
RPAF_Enable             On
RPAF_Header             X-Forwarded-For
RPAF_ProxyIPs           127.0.0.1 ::1 ТУТ.ПРОПИСАН.IP.СЕРВЕРА
RPAF_SetHostName        On
RPAF_SetHTTPS           On
RPAF_SetPort            On
</IfModule>
Это, я так понимаю, имеет отношение к проблеме с определением реального айпи посетителя. Но это меньше парит, что непонятная индексация. Почему они индексируют соседние сайты?

Оффлайн bezbo

  • Старожил
  • *
  • Сообщений: 1428
    • Просмотр профиля
Почему они индексируют соседние сайты?

"Ты, что Сережа? Что ты мне дал, то я и перепутал. Ты сам свой конец вязал!" (с) Особенности...

а по существу, что сервер отдает, то и индексируется

Оффлайн alex32

  • Автор темы
  • Новичок
  • *
  • Сообщений: 7
    • Просмотр профиля
а по существу, что сервер отдает, то и индексируется
Собственно, в этом и состоит вопрос: какие настройки надо внести, что бы сервер все правильно отдавал?  Что бы сайты правильно индексировались? Настройка mod_rpaf? Или mod_rpaf это относится только к неверному определению IP?


Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 27351
    • Просмотр профиля
в REMOTE_ADDR возвращается IP сервера, а не посетителя. Приходится использовать HTTP_X_FORWARDED_FOR.
Откажитесь от апача и отдавайте всё через nginx.
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

Оффлайн alex32

  • Автор темы
  • Новичок
  • *
  • Сообщений: 7
    • Просмотр профиля
в REMOTE_ADDR возвращается IP сервера, а не посетителя. Приходится использовать HTTP_X_FORWARDED_FOR.
Откажитесь от апача и отдавайте всё через nginx.
Эту проблему я решил, да и не настолько она была важна. Больше интересует проблема с индексацией.

Оффлайн Виктop

  • Участник
  • *
  • Сообщений: 184
    • Просмотр профиля
Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то


Статика проксируется nginx-ом
Это как???


В дополнении к этому в REMOTE_ADDR возвращается IP сервера
Не уж то у тебя на фронте nginx на беке apache?
Если да, то это хреновая комбинация, лучше уже тогда один nginx, так и систему меньше грузит и быстрее

Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 27351
    • Просмотр профиля
Если да, то это хреновая комбинация, лучше уже тогда один nginx, так и систему меньше грузит и быстрее
Мы не знаем, что именно там крутится. Может, nginx просто не имеет нужных модулей.
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

Оффлайн Виктop

  • Участник
  • *
  • Сообщений: 184
    • Просмотр профиля
AnrDaemon, Судя по тому, как поставлены вопросы, то он даже не новичёк, следовательно, ставил готовый пакет nginx, ибо самому вряд ли получилось бы что либо собрать, в готовом пакете есть все необходимые для этого модули, там вообще есть почти все модули, более того, это ни как не отменяет ошибочность комбинации nginx=>apache  и если у него именно эта комбинация(кое что на это, как бы жирно так намекает), то apache лишний

Оффлайн alex32

  • Автор темы
  • Новичок
  • *
  • Сообщений: 7
    • Просмотр профиля
Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

-Доктор, я руку сломал!
-Давайте посмотрим. О, батенька, так вы руку сломали!


Я знаю, что сервер отдает что-то не то. И я как раз ответ на вопрос "Что сервер отдает не то?" и ищу.
Какие настройки смотреть?
Какие модули?
Что на это может влиять?
 
Не уж то у тебя на фронте nginx на беке apache?
Все было установлено изначально, при покупке сервера. Нажал в панели управления кнопку "Добавить домен", он все добавил. Кто там что отдает, не знаю. Тем более, что эта проблема уже решена, я об этом писал. Переустановил mod_rpaf, все корректно стало отдаваться.

Проблема именно с индексацией страниц.

Оффлайн Виктop

  • Участник
  • *
  • Сообщений: 184
    • Просмотр профиля
alex32, Зря дерзишь, я тебе помогаю, а ты выпендриваешься... Крутым веб-разработчиком себя возомнил??? А отчего же вопросы такие глупые?
Против меня ты как колобок против катка

На стчёт комбинации nginx и apache, это всего лишь рекомендация, выполнять или нет, твоё личное дело, но не надо ёрничать, кроме того mod praf служит только для получения реального IP адреса апачём от фронта он ни как не влияет на выдачу ответа сервера!

По поводу индексации я тебе уже ответил

Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

Чего ещё тебе не хватает?

Давай объясню тебе как ребёнку
Сервер всего лишь получает запрос и отдаёт согласно запросу и своим настройкам контент, больше ничего он не может, любые модули сервера всегда крутятся вокруг его главной функции.

Из выше написанного следует, сервер не влияет на индексацию и нет никакого модуля или настройки для индексации страниц сайта. Индексируют только роботы поисковиков и только то, что выдал сервер, робот не может узнать что есть на твоём сервере из ниоткуда.

Следовательно, либо робот получает некорректный ответ, но ты сам пишешь, что сервер всё корректно отдаёт, либо поисковый робот отправляет некорректный запрос, но у всех владельцев сайтов роботы индексируют нормально, а у тебя нет, значит проблема не в поисковых роботах, тогда возникает вопрос по поводу карты сайта и robots.txt, не знаешь что это такое? Google или Яндекс в помощь! Плюс учти что индексация происходит не сразу, если поисковик проиндексировал страницу, то после её изменения, нужно указать об изменении роботу, после чего должно пройти время, а если сайт признан поисковиком как "говносайт", то много времени.

Заметь, ты не указал ни каких конфигов, один лишь скрин не имеющий ни какого отношения к проблеме, этот форум не для экстрасенсов если что...

Какой вопрос, такой и ответ...
« Последнее редактирование: 05 Февраль 2019, 10:19:14 от Виктop »

Оффлайн alex32

  • Автор темы
  • Новичок
  • *
  • Сообщений: 7
    • Просмотр профиля
alex32, Зря дерзишь, я тебе помогаю, а ты выпендриваешься... Крутым веб-разработчиком себя возомнил??? А отчего же вопросы такие глупые?
Против меня ты как колобок против катка

На стчёт комбинации nginx и apache, это всего лишь рекомендация, выполнять или нет, твоё личное дело, но не надо ёрничать, кроме того mod praf служит только для получения реального IP адреса апачём от фронта он ни как не влияет на выдачу ответа сервера!

По поводу индексации я тебе уже ответил

Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

Чего ещё тебе не хватает?

Давай объясню тебе как ребёнку
Сервер всего лишь получает запрос и отдаёт согласно запросу и своим настройкам контент, больше ничего он не может, любые модули сервера всегда крутятся вокруг его главной функции.

Из выше написанного следует, сервер не влияет на индексацию и нет никакого модуля или настройки для индексации страниц сайта. Индексируют только роботы поисковиков и только то, что выдал сервер, робот не может узнать что есть на твоём сервере из ниоткуда.

Следовательно, либо робот получает некорректный ответ, но ты сам пишешь, что сервер всё корректно отдаёт, либо поисковый робот отправляет некорректный запрос, но у всех владельцев сайтов роботы индексируют нормально, а у тебя нет, значит проблема не в поисковых роботах, тогда возникает вопрос по поводу карты сайта и robots.txt, не знаешь что это такое? Google или Яндекс в помощь! Плюс учти что индексация происходит не сразу, если поисковик проиндексировал страницу, по после её изменения, нужно указать об изменении роботу, после чего должно пройти время, если сайт признан поисковиком как "говносайт", то много времени.

Пока кроме трепа не увидел ничего полезного, кроме констатации тех фактов, которые я сам и написал. Могу только повторить анекдот:-Доктор, я руку сломал!
-Давайте посмотрим. О, батенька, так вы руку сломали!


Оффлайн Виктop

  • Участник
  • *
  • Сообщений: 184
    • Просмотр профиля
В таком случае перечитай ещё раз, возможно дойдёт, а нет, тогда пусть другие тебе помогают, а я посмотрю...

Оффлайн Heider

  • Старожил
  • *
  • Сообщений: 1250
    • Просмотр профиля
Поисковики индексируют все, что есть в интернете, если сайт явно не запрещает его индексировать. Да и то, слушаться такого запрета или нет - дело каждого поисковика.

Поэтому, если ты не хочешь, чтобы какой-то сайт не индексировался, сделай его недоступным в глобальной сети. Что непонятно то?

 

Страница сгенерирована за 0.268 секунд. Запросов: 24.