Что такое robots.txt?

0
0

Что это за файл такой — robots.txt? Я недавно прочитала, что это очень важно, но написана статья была заумными словами? Может кто-то объяснить доступным языком?

Жалоба на рассмотрении
Сообщение от (Вопросы: 16, Ответы: 12)
Задал вопрос 09.08.2018 12:38
14 просмотры
0
Приватный ответ

В этом файле указывается куда можно ходить поисковым системам, а куда нет. К примеру, если не хотите, чтобы не индексировались папки с картинками — их можно закрыть. Также можно закрыть к дублям, то есть запретить переменные пагинации, закрыть доступ поисковикам к админке. Также очень полезно указать доступ к карте сайта sitmap.

Жалоба на рассмотрении
Сообщение от (Вопросы: 7, Ответы: 129)
Ответил 09.08.2018 14:17
0
Приватный ответ

Файл, который должен быть в обязательном порядке на каждом сайте для адекватного индексирования роботами. Его второе название индексный файл. По сути, текстовый документ с названием robots.txt. Ну и с правильным содержимым. Примеров в интернете куча.

Жалоба на рассмотрении
Сообщение от (Вопросы: 11, Ответы: 25)
Ответил 02.09.2018 15:43
0
Приватный ответ

Это то, без чего боты обходчики поисковых систем не смогут видеть ваш сайт или его страницы. По своей сути это просто текстовый документ, который понятен ботам. Если ваш сайт создан с помощью конструктора, то проблем не будет. Если пишите сами, то его в корневой каталог. Не забудьте создать "карту сайта" и прогнать её через вебмастера Яндекс и Гугл. Есть много сервисов, которые эту карту делают бесплатно и за секунды.

Жалоба на рассмотрении
Сообщение от (Вопросы: 3, Ответы: 31)
Ответил 24.02.2019 15:23

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: