Как закрыть от индексации поисковыми системами часть контента сайта? Любой вебмастер знает, что с помощью директив noindex (для яндекса), Disallow: (Для все поисковых систем) и мета тегом (так же для всех поисковых систем). Причем 2-й и 3-й варианты считались абсолютно железными, так как декларировалось всеми поисковыми системами, что они поддерживают эти директивы.
Всем известно, что директива noindex предназначена для запрещения индексации части контента на сайте либо сайта целиком. Но путем наблюдений и экспериментов удалось выяснить, что влияние на индексацию этот атрибут имеет не значительную, если на сайт стоит достаточное количество сильных ссылок, то директива noindex не поможет закрытию контента, который бы вы хотели закрыть.
Выше сказанное можно легко проверить, например на одном из своих сайтов, в сохраненной копии сайта в Яндексе то, что вы закрыли noindex, будет найдено.
Скажу больше, даже директива Disallow: / в robots.txt ни как не страхует закрытую таким образом часть от не попадания в индекс, и не только в Яндексе, но так же в Google и Рамблере. Для примера возмем бесплатный хостинг pochta, который закрыл disallow: все сайты на своем хостинге, но потеем не хитрых проверок можно выяснить, что те страницы, на которые стояли ссылки, все еще находятся в индексе.
Я не говорю, что необходимо перестать пользоваться этими директивами, я лишь советую не слишком рассчитывать на них. Самый простой вариант это удалить ту часть контента которую вы не хотите, чтобы индексировали поисковики, либо закрыть паролем, либо скриптом, чтоб только пользователи сайта, а не роботы могли видеть этот контент.
P.S. Господа, перестаньте пихать свои говносайты в комментарии, ссылки все равно удаляются. Спасибо!
Никогда не доверял ноуиндексу. Кто его знает, как он работает. Возможно, например, что текст в ноуибексе учавствует в рассчете тошноты на равне с остальным текстом, а ссылки из этого тега хоть и не передают статического веса, но учавствуют в его разделе (то есть попадают лишь в знаменатель классической формулы рассчета передаваемого веса). В таком случае, использовать ноуидекс во благо себе оптимизатор не может (что было бы разумно).
Если хочу что-то скрыть, прячу в document.write(‘…….’);
Это уж точно работает 🙂
С некоторых пор счетчики некоторые заганяю в nofollow и noindex.