Не так давно в Америке прошла конференция, в рамках которой рассматривались вопросы правильной индексации страниц, содержащих ссылки.
Специалисты, которым хорошо знакомо seo искусство раскрутки сайтов говорили о том, что вопрос индексации URL страниц, закрытых noindex и файлом robots.txt, может быть очень спорным.
Редактор Search Engine Roundtable попыталась разобраться в этом вопросе. Причиной спора со слов Барри Шварц стал тот факт, что в результатах запроса Google часто появляются ссылки на закрытые сайты. Отсюда и вытекает логичный вопрос, можно ли такие URL считать проиндексированными.
SEO-специалисты считаю, что страницы могут индексироваться даже без посещений роботами. Что индексация – это простое посещение страницы, а не особый процесс. Некоторые считают, что ограничения влияют на «обнаруживаемость» URL, а не на процесс индексации.
Дискуссия была очень оживленной. Однако на тему robots.txt еще в 2009 году говорил представитель Google Мэтт Каттс. Поисковая система не пропускает такие страницы, если ссылки на нее располагаются на других сайтах или в каталогах. Ссылка сохраняется поисковиком, но содержимое не индексируется. Если страницы не должно быть в SERP, то она должна быть помечена noindex.
Самый примитивный способ удалить страницу из результатов поисковых запросов – произвести эту процедуру на панели Google removal tool или Яндекс.Вебмастер.