Как закрыть от индексации поисковыми системами часть контента сайта? Любой вебмастер знает, что с помощью директив noindex (для яндекса), Disallow: (Для все поисковых систем) и мета тегом (так же для всех поисковых систем). Причем 2-й и 3-й варианты считались абсолютно железными, так как декларировалось всеми поисковыми системами, что они поддерживают эти директивы.

Всем известно, что директива noindex предназначена для запрещения индексации части контента на сайте либо сайта целиком. Но путем наблюдений и экспериментов удалось выяснить, что влияние на индексацию этот атрибут имеет не значительную, если на сайт стоит достаточное количество сильных ссылок, то директива noindex не поможет закрытию контента, который бы вы хотели закрыть.

Выше сказанное можно легко проверить, например на одном из своих сайтов, в сохраненной копии сайта в Яндексе то, что вы закрыли noindex, будет найдено.

Скажу больше, даже директива Disallow: / в robots.txt ни как не страхует закрытую таким образом часть от не попадания в индекс, и не только в Яндексе, но так же в Google и Рамблере. Для примера возмем бесплатный хостинг pochta, который закрыл disallow: все сайты на своем хостинге, но потеем не хитрых проверок можно выяснить, что те страницы, на которые стояли ссылки, все еще находятся в индексе.

Я не говорю, что необходимо перестать пользоваться этими директивами, я лишь советую не слишком рассчитывать на них. Самый простой вариант это удалить ту часть контента которую вы не хотите, чтобы индексировали поисковики, либо закрыть паролем, либо скриптом, чтоб только пользователи сайта, а не роботы могли видеть этот контент.

P.S. Господа, перестаньте пихать свои говносайты в комментарии, ссылки все равно удаляются. Спасибо!


Хочу получать обновления на Email: