Как создать карту сайта для поисковых систем. Файл robots.txt.

[dprosvetov]

Как создать карту сайта для поисковых систем.
Как это работает.
Когда поисковый робот заходит на блог, он находит эту карту. В ней есть ссылки на все статьи.
Там тоже такие ссылки стоят и индексируют наш блог в полном объеме.
Для чего необходим файл robots.txt.
Движок wordpress устроен таким образом, что если мы, например, находимся на главной странице по определенному адресу, то мы видим вот эти заметки. Если теперь перейдем к архивам блога, то здесь адрес у нас уже изменяется, а заметки те же. Это называется дубли.
Далее...