Что такое robots.txt?

0
0

Что это за файл такой — robots.txt? Я недавно прочитала, что это очень важно, но написана статья была заумными словами? Может кто-то объяснить доступным языком?

Жалоба на рассмотрении
Сообщение от (Вопросы: 16, Ответы: 12)
Задал вопрос 09.08.2018 12:38
7 просмотры
0
Приватный ответ

В этом файле указывается куда можно ходить поисковым системам, а куда нет. К примеру, если не хотите, чтобы не индексировались папки с картинками — их можно закрыть. Также можно закрыть к дублям, то есть запретить переменные пагинации, закрыть доступ поисковикам к админке. Также очень полезно указать доступ к карте сайта sitmap.

Жалоба на рассмотрении
Сообщение от (Вопросы: 1, Ответы: 103)
Ответил 09.08.2018 14:17