Что такое robots.txt?

0
0

Что это за файл такой — robots.txt? Я недавно прочитала, что это очень важно, но написана статья была заумными словами? Может кто-то объяснить доступным языком?

Жалоба на рассмотрении
Сообщение от (Вопросы: 16, Ответы: 12)
Задал вопрос 09.08.2018 12:38
9 просмотры
0
Приватный ответ

В этом файле указывается куда можно ходить поисковым системам, а куда нет. К примеру, если не хотите, чтобы не индексировались папки с картинками — их можно закрыть. Также можно закрыть к дублям, то есть запретить переменные пагинации, закрыть доступ поисковикам к админке. Также очень полезно указать доступ к карте сайта sitmap.

Жалоба на рассмотрении
Сообщение от (Вопросы: 2, Ответы: 120)
Ответил 09.08.2018 14:17
0
Приватный ответ

Файл, который должен быть в обязательном порядке на каждом сайте для адекватного индексирования роботами. Его второе название индексный файл. По сути, текстовый документ с названием robots.txt. Ну и с правильным содержимым. Примеров в интернете куча.

Жалоба на рассмотрении
Сообщение от (Вопросы: 11, Ответы: 25)
Ответил 02.09.2018 15:43

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: