Глава 6. Влияние на индексацию

6.1. Что влияет на индексацию

Поисковый робот в первую очередь запоминает адрес страницы, он может быть статистическим - обычным с расширением .html или динамическим - использующие скрипты (программы на языках php, perl, asp и т.д.), как правило к странице добавляются символы ?, & и =. Желательно иметь статистический вид страниц для лучшей индексации, кроме того лучше использовать знак разделителя слов дефис (-), а не знак подчеркивания (_).

Во-вторых, необходимо настроить веб-сервер - заголовки HTTP, обработку изменения и создания страниц, исключать дубликаты страниц и генерацию страниц с сессиями.

В-третьих, грамотно расставить теги, определив наиболее важные участки текста, например:

<title>, <h1>-<h6>, <b>, <em>, <strong>

Стараться не использовать:

<font> вложенных таблиц, комментариев, графики, JavaScript, css в коде страницы.

6.2 Управление индексацией

Можно запретить индексацию служебных страниц, и другой лишней информации с помощью файла:

robots.txt в нем прописываем

User-agent: * тут указывается, какая поисковая система
Disallow: /cgi/ и какой файл или каталог не индексировать

или в теге:

<meta name="robots">