Несколько сайтов на одном VDS - поисковики индексируют страницы соседних сайтов

[alex32]

Возникла такая проблема: на VDS ubuntu 16.4 на одном IP вертятся несколько сайтов. И поисковики начинают индексировать страницы сайтов, расположенных по-соседству. Домены создавались автоматически из панели управления VestaCP. Подключен SSL letsencrypt. Статика проксируется nginx-ом. В дополнении к этому в REMOTE_ADDR возвращается IP сервера, а не посетителя. Приходится использовать HTTP_X_FORWARDED_FOR. Куда ковырять, что бы исправить эти косяки?

[bezbo]

подключить модуль mod_rpaf, в конфиге Apache

Код: [Выделить]

<ifmodule mod_rpaf.c>
  RPAFenable On
  RPAFsethostname On
  RPAFproxy_ips 127.0.0.1 ТУТ_ВАШ_IP_АДРЕС
  RPAFheader X-Forwarded-For
</ifmodule>

[alex32]

подключить модуль mod_rpaf, в конфиге Apache

Спасибо. У меня есть такое

Код: [Выделить]

<IfModule mod_rpaf.c>
RPAF_Enable             On
RPAF_Header             X-Forwarded-For
RPAF_ProxyIPs           127.0.0.1 ::1 ТУТ.ПРОПИСАН.IP.СЕРВЕРА
RPAF_SetHostName        On
RPAF_SetHTTPS           On
RPAF_SetPort            On
</IfModule>Это, я так понимаю, имеет отношение к проблеме с определением реального айпи посетителя. Но это меньше парит, что непонятная индексация. Почему они индексируют соседние сайты?

[bezbo]

Почему они индексируют соседние сайты?

"Ты, что Сережа? Что ты мне дал, то я и перепутал. Ты сам свой конец вязал!" (с) Особенности...

а по существу, что сервер отдает, то и индексируется

[alex32]

а по существу, что сервер отдает, то и индексируется

Собственно, в этом и состоит вопрос: какие настройки надо внести, что бы сервер все правильно отдавал?  Что бы сайты правильно индексировались? Настройка mod_rpaf? Или mod_rpaf это относится только к неверному определению IP?

[AnrDaemon]

в REMOTE_ADDR возвращается IP сервера, а не посетителя. Приходится использовать HTTP_X_FORWARDED_FOR.

Откажитесь от апача и отдавайте всё через nginx.

[alex32]

в REMOTE_ADDR возвращается IP сервера, а не посетителя. Приходится использовать HTTP_X_FORWARDED_FOR.

Откажитесь от апача и отдавайте всё через nginx.

Эту проблему я решил, да и не настолько она была важна. Больше интересует проблема с индексацией.

[Виктop]

Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

Статика проксируется nginx-ом

Это как???

В дополнении к этому в REMOTE_ADDR возвращается IP сервера

Не уж то у тебя на фронте nginx на беке apache?
Если да, то это хреновая комбинация, лучше уже тогда один nginx, так и систему меньше грузит и быстрее

[AnrDaemon]

Если да, то это хреновая комбинация, лучше уже тогда один nginx, так и систему меньше грузит и быстрее

Мы не знаем, что именно там крутится. Может, nginx просто не имеет нужных модулей.

[Виктop]

AnrDaemon, Судя по тому, как поставлены вопросы, то он даже не новичёк, следовательно, ставил готовый пакет nginx, ибо самому вряд ли получилось бы что либо собрать, в готовом пакете есть все необходимые для этого модули, там вообще есть почти все модули, более того, это ни как не отменяет ошибочность комбинации nginx=>apache  и если у него именно эта комбинация(кое что на это, как бы жирно так намекает), то apache лишний

[alex32]

Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

-Доктор, я руку сломал!
-Давайте посмотрим. О, батенька, так вы руку сломали!

Я знаю, что сервер отдает что-то не то. И я как раз ответ на вопрос "Что сервер отдает не то?" и ищу.
Какие настройки смотреть?
Какие модули?
Что на это может влиять?
 

Не уж то у тебя на фронте nginx на беке apache?

Все было установлено изначально, при покупке сервера. Нажал в панели управления кнопку "Добавить домен", он все добавил. Кто там что отдает, не знаю. Тем более, что эта проблема уже решена, я об этом писал. Переустановил mod_rpaf, все корректно стало отдаваться.

Проблема именно с индексацией страниц.

[Виктop]

alex32, Зря дерзишь, я тебе помогаю, а ты выпендриваешься... Крутым веб-разработчиком себя возомнил??? А отчего же вопросы такие глупые?
Против меня ты как колобок против катка

На стчёт комбинации nginx и apache, это всего лишь рекомендация, выполнять или нет, твоё личное дело, но не надо ёрничать, кроме того mod praf служит только для получения реального IP адреса апачём от фронта он ни как не влияет на выдачу ответа сервера!

По поводу индексации я тебе уже ответил

Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

Чего ещё тебе не хватает?

Давай объясню тебе как ребёнку
Сервер всего лишь получает запрос и отдаёт согласно запросу и своим настройкам контент, больше ничего он не может, любые модули сервера всегда крутятся вокруг его главной функции.

Из выше написанного следует, сервер не влияет на индексацию и нет никакого модуля или настройки для индексации страниц сайта. Индексируют только роботы поисковиков и только то, что выдал сервер, робот не может узнать что есть на твоём сервере из ниоткуда.

Следовательно, либо робот получает некорректный ответ, но ты сам пишешь, что сервер всё корректно отдаёт, либо поисковый робот отправляет некорректный запрос, но у всех владельцев сайтов роботы индексируют нормально, а у тебя нет, значит проблема не в поисковых роботах, тогда возникает вопрос по поводу карты сайта и robots.txt, не знаешь что это такое? Google или Яндекс в помощь! Плюс учти что индексация происходит не сразу, если поисковик проиндексировал страницу, то после её изменения, нужно указать об изменении роботу, после чего должно пройти время, а если сайт признан поисковиком как "говносайт", то много времени.

Заметь, ты не указал ни каких конфигов, один лишь скрин не имеющий ни какого отношения к проблеме, этот форум не для экстрасенсов если что...

Какой вопрос, такой и ответ...

[alex32]

alex32, Зря дерзишь, я тебе помогаю, а ты выпендриваешься... Крутым веб-разработчиком себя возомнил??? А отчего же вопросы такие глупые?
Против меня ты как колобок против катка

На стчёт комбинации nginx и apache, это всего лишь рекомендация, выполнять или нет, твоё личное дело, но не надо ёрничать, кроме того mod praf служит только для получения реального IP адреса апачём от фронта он ни как не влияет на выдачу ответа сервера!

По поводу индексации я тебе уже ответил

Не могут поисковики индексировать соседние сайты, если они не получают к ним доступ, то же верно и по отношению к текущему сайту, не могут поисковики индексировать текущий сайт, если они не получают к нему доступ. Всё просто до безумия... Если поисковики индексируют что-то не то, значит сервер отдаёт им что-то не то

Чего ещё тебе не хватает?

Давай объясню тебе как ребёнку
Сервер всего лишь получает запрос и отдаёт согласно запросу и своим настройкам контент, больше ничего он не может, любые модули сервера всегда крутятся вокруг его главной функции.

Из выше написанного следует, сервер не влияет на индексацию и нет никакого модуля или настройки для индексации страниц сайта. Индексируют только роботы поисковиков и только то, что выдал сервер, робот не может узнать что есть на твоём сервере из ниоткуда.

Следовательно, либо робот получает некорректный ответ, но ты сам пишешь, что сервер всё корректно отдаёт, либо поисковый робот отправляет некорректный запрос, но у всех владельцев сайтов роботы индексируют нормально, а у тебя нет, значит проблема не в поисковых роботах, тогда возникает вопрос по поводу карты сайта и robots.txt, не знаешь что это такое? Google или Яндекс в помощь! Плюс учти что индексация происходит не сразу, если поисковик проиндексировал страницу, по после её изменения, нужно указать об изменении роботу, после чего должно пройти время, если сайт признан поисковиком как "говносайт", то много времени.

Пока кроме трепа не увидел ничего полезного, кроме констатации тех фактов, которые я сам и написал. Могу только повторить анекдот:-Доктор, я руку сломал!
-Давайте посмотрим. О, батенька, так вы руку сломали!

[Виктop]

В таком случае перечитай ещё раз, возможно дойдёт, а нет, тогда пусть другие тебе помогают, а я посмотрю...

[Heider]

Поисковики индексируют все, что есть в интернете, если сайт явно не запрещает его индексировать. Да и то, слушаться такого запрета или нет - дело каждого поисковика.

Поэтому, если ты не хочешь, чтобы какой-то сайт не индексировался, сделай его недоступным в глобальной сети. Что непонятно то?