В первую очередь поисковая система Яндекс производит индексирование с помощью ссылок. Ссылки, как внутренние, так и внешние, являются основными «информаторами» поисковой системы о существовании страниц и сайтов. Но это далеко не единственный способ сообщить Яндексу о существовании страниц на вашем сайте.

Рассмотрим все способы по-порядку.

Внешние и внутренние ссылки

Помните, что первый и наиболее значимый способ сообщить о страницах сайта поисковой машине Яндекса – ссылаться на них. Если вы создаёте новый материал, на который не будет ссылаться ни один другой, робот Яндекса просто не будет знать о его существовании. Соответственно, страница не будет проиндексирована, не попадёт в поисковую выдачу, что оставит ваш труд незамеченным.

Структурированность

Старайтесь придерживаться чёткой структурированности размещения документов на сайте. Каждый документ должен находиться в своём подразделе или разделе сайта.

Ссылки

Переходы робота на любые материалы должны осуществляться с помощью обычных ссылок вида <A href=»…»>text</A>, а не с помощью редиректов или методов GET и POST форм сайта.

Хлебные крошки

Для удобства «ориентации» робота в иерархии документов используйте так называемые «хлебные крошки» (BreadCrumbs – обратная навигация по вложенности разделов от текущего документа к главной странице). Это помогает роботу Яндекса создать более чёткое представление о структуре сайта.

Используйте уникальные адреса (URL)

Желательно, чтобы документы имели адреса в виде, доступном человеческому восприятию. Согласитесь, URL http://adminu.ru/pro/yandex/kak-yandex-indeksiruet-sayt намного «читабельней», нежели http://site/index.php?id=13232&s=12, пусть даже он и длиннее. Приветствуется иерархия разделов и подразделов в написании самого адреса документа (как вложенные папки).

Используйте карту сайта (Sitemap)

Sitemap — специально отформатированный документ, который содержит в формате XML данные о страницах сайта. Он содержит список адресов страниц сайта (URL), а также данные о рекомендуемой частоте обновления информации по каждой странице в поисковой системе. Данный формат был разработан специально для облегчения «общения» вебмастеров с поисковыми системами. Sitemap поддерживается и приветствуется Яндексом. В инструменте Яндекс.Вебмастер вы можете добавить для каждого из своих сайтов соответствующий файл Sitemap. Велика вероятность, что таким образом вы сможете добиться лучшей индексированности своих ресурсов.

Правильно настраивайте файл Robots.txt

Файл Robots.txt, хранящийся в корневой папке большинства сайтов, содержит служебные директивы для роботов поисковых систем. С его помощью можно указать, какие разделы сайта не следует индексировать, какие параметры CGI-скриптов следует отбрасывать и не учитывать при индексировании (частый пример: параметр SESSID=xxxx, добавляющий к URL имя сессии посетителя на многих движках форумов, Яндексом без специальной директивы будет восприниматься не как имя сессии, а как выдачу сайтом различных материалов, что, несомненно, является ошибочным). Очень полезный параметр для настройки поискового робота Яндекс — crawl delay, — задаёт минимальный интервал времени между сканированиями страниц. Для сайта из 50-100 страниц эффект, конечно, незначительный, но ресурсу, содержащему десятки тысяч страниц, робот поисковой машины может создавать серьёзную нагрузку, а иногда перегружать сервер сайта и останавливать его работу.

404

Убедитесь, что ваш сайт правильно возвращает код ошибки на несуществующие URL. Яндекс исключит из индексирования страницы, возвращающие код 404. Напомним, что нормальный код, возвращаемый сайтом на корректный запрос URL, 200.

Регистрации и активные действия, глубинный веб (Deep Web)

Поисковый робот Яндекс не производит никаких активных действий на сайте. Иными словами, если часть материала вашего сайта доступна только для зарегистрированных пользователей, либо после ввода капчи (CAPTCHA – проверка неавтоматизированного входа дублированием цифр/букв с картинки, созданной сервером), либо каким другим способом требуется произвести дополнительное активное действие со стороны посетителя, то такой материал не будет доступен поисковому роботу Яндекса.