На тему переиндексации сказано немало. Еще раз хочу обратить внимание на то, что не последнюю роль в этом играет умение сайта "правильно" реагировать на заголовок HTTP-запроса If-Modified-Since, отдавая поисковому роботу или саму страницу или же информацию о том, что она не модифицировалась с даты последней индексации. При этом чуть ли не самое трудоемкое в этом деле – быть уверенным, что код сайта, выполняющий эту задачу, работает без ошибок.
И вот тут случайно попал на онлайновый сервис, который позволяет с легкостью тестировать реакцию сайта на заголовок If-Modified-Since. Все что нужно – указывать тестируемый URL и дату (тестовую) предыдущей индексации.
И в дополнение:
причем не только корректная реакция на валидатор If-Modified-Since, но и правильная отдача Last-Modified в ответе и реакция на другие валидаторы кеша
См. RFC2616
A time, when used as a validator in a request, is implicitly weak unless it is possible to deduce
that it is strong, using the following rules:
•
The validator is being compared by an origin server to the actual current validator for the entity and,
•
That origin server reliably knows that the associated entity did not change twice during the second covered
by the presented validator.
or
If-Modified-Since If-Unmodified-Since
•
The validator is about to be used by a client in an or
header, because the client has a cache entry for the associated entity, and
Date
•
That cache entry includes a value, which gives the time when the origin server sent the original
response, and
Last-Modified Date
•
The presented time is at least 60 seconds before the value.
or
•
The validator is being compared by an intermediate cache to the validator stored in its cache entry for the
entity, and
Date
•
That cache entry includes a value, which gives the time when the origin server sent the original
response, and
Last-Modified Date
•
The presented time is at least 60 seconds before the value.
This method relies on the fact that if two different responses were sent by the origin server during the same second,
Last-Modified Date
but both had the same time, then at least one of those responses would have a value equal
Last-Modified Date
to its time. The arbitrary 60-second limit guards against the possibility that the and
Last-Modified
values are generated from different clocks, or at somewhat different times during the preparation
of the response. An implementation MAY use a value larger than 60 seconds, if it is believed that 60 seconds is too
short.
Блин, та вот только кто же все вот это реализует???
Я тут на курсах просто про Last-Modified рассказываю - народ уже в ступоре!
Ответить
07.09.2007
Я. И вот вам сухие факты. На моем новом проекте, который недавно был вынесен на хостинг, за 2 недели Яндекс проиндексировал более 40 000 страниц. К слову сказать за то же время Гугл еще не обаботал и 1000. И это все для "нулевого" сайта. Так значит стоит возиться?
Ответить
07.09.2007
Не верится в такие показатели. Не верится, что Яндекс-бот вообще реагирует на данный хеадер.
Что же произойдет, если все этим начнут пользоваться и почему только сейчас появилась такая инфа. :))
Как говорится, покажите результат и я поверю.
08.09.2007
Интересно как этот сайт вообще попал в индекс, ведь 40 000 неуникального контента, партнёрка - про которые он вообще говорит что не индексирует -
http://webmaster.yandex.ru/faq.xml?id=985118
куда яндекс смотрит...
Ответить
29.02.2008