Сайт глазами робота

Статья о том, как поисковые роботы воспринимают ошибки в коде сайта, и каким образом это влияет на индексацию сайта.

Одна из моих статей была посвящена такому понятию, как валидность. Поэтому, не буду повторяться и уделять время на его описание. Если коротко, валидность – это соответствие стандартам. Таким образом, стандартизированный язык разметки для веб-страниц (HTML), с единым базовым набором тегов и атрибутов, «читается» различными браузерами и отображается в виде документа, удобного для просмотра пользователями.

Что происходит, если HTML код страницы содержит ошибки (не соответствует стандарту)? Отображает ли браузер невалидный код?

Создатели веб-обозревателей позаботились о том, чтобы их браузеры умели интерпретировать и некорректные html-коды. Иначе даже единственный, пропущенный по невнимательности веб-мастера тег, не позволил бы пользователю, просматривать страницу и выводил бы сообщение об ошибке. Однако, каждый браузер, интерпретирует ошибочный код по своим правилам. Потому есть вероятность того, что одна и та же невалидная страница будет выглядеть в различных браузерах по-разному. Поэтому старайтесь избегать ошибок в html-коде.

Поисковый робот и индексация

А теперь рассмотрим принципы работы поисковых роботов. Как они реагируют на ошибки в html-коде.

По принципу действия поисковый робот напоминает обычный браузер. Однако цели у него несколько иные. Если главной целью браузера является предоставление интерфейса между веб-сайтом и его посетителем, то цель поискового робота - анализ каждого документа с помощью специального алгоритма, для занесения информации о нём в базу данных поисковика. Споткнувшись об ошибку, робот прекращает обрабатывать документ. Речь здесь конечно идёт о более серьёзных ошибках, чем пропущенный закрывающийся тег.

Как бы различные движки не упрощали работу с сайтами, необходимо изучать HTML и CSS. Веб-мастеру часто приходится работать с html-кодом. Например, вы знаете, что наличие большого количества ссылок на сторонние сайты не лучшим образом сказывается на оптимизации сайта. Это вынуждает веб-мастера избавляться от ссылок, в том числе и на сайты разработчиков различных компонентов. Для этого приходится вносить изменения в html-код (удалять или изменять часть кода).

После любых экспериментов с кодом, проверяйте сайт на видимость поисковым роботом. Для этого рекомендую воспользоваться очень удобным сервисом, который находится по адресу http://www.pr-cy.ru/simulator. Здесь вы сможете бесплатно проверить сайт на многие показатели, в том числе увидеть сайт глазами робота, найти ошибки в HTML-коде, проверить сайт на валидность.

Вы можете проверить сайт на определённые показатели или сделать экспресс анализ сайта на все показатели сразу. Для того, чтобы проверить сайт на все показатели, пройдите по этому адресу: http://www.design-sites.ru/utility/express-analys.php и введите URL вашего сайта для экспресс-анализа и нажмите "GO". Затем, поочерёдно открывая страницы, посмотрите результаты проведённого анализа.

Теперь вы будете уверены, что ваш сайт не выпадет из индекса из-за нелепой ошибки, так как ситуация находится полностью под вашим контролем.