Файл robots.txt — индексация страниц сайта

Файл robots.txt - индексация сайта

Для грамотного развития сайта крайне важно иметь возможность получения стабильного трафика. Как известно, большинство сайтов обретают постоянную посещаемость именно из поисковых систем. В этой статье мы поговорим про важный файл robots.txt. Разберемся что это, для чего он нужен, а также как его установить на ваш молодой сайт.

Что такое Robots.txt

Robots.txt — это специальный текстовый файл, расположенный в корневой папке сайта. Все поисковые системы (нас интересуют в первую очередь Яндекс и Google) периодически посещают сайты в сети и идексируют их страницы.

Индексация — это видимость страниц сайта в поисковых системах, если говорить простым языком. То есть, чтобы сайт было возможно найти в Яндекс или Google, его страницы должны быть проиндексированы. Очевидно, что этот процесс автоматизирован. Им занимаются так называемые роботы. Именно для роботов и делается одноименный файл, где расположена информация относительно того, какие страницы стоит индексировать, какие нет, а также прочие инструкции относительно связей с поисковыми системами. 

Как установить Robots.txt на сайт

Для установки robots.txt на ваш сайт вам в первую очередь необходимо его скачать. Я выложил текстовый файл на Яндекс диск, и вы можете его скачать на этой странице. Там находятся все ссылки, которые необходимо закрыть от индексации на момент создания сайта. Вы всегда сможете дополнить файл другими страницами, что просто сделать по аналогии.

Теперь разберемся, как добавить файл robots.txt на хостинг

Я опишу это на примере хостинга Sprinthost, которым пользуюсь сам, однако на всех хостингах данный процесс серьезно не отличается, главное найти те же файлы.

  • Открываем «файловый менеджер» в левом меню хостинга;
  • Должна открыться вкладка как на скриншоте. Там открываем domains;Domain
  • Далее по аналогии открываем папку с доменным именем вашего сайта, а после этого public_html;
  • В папку public_html и нужно загрузить наш файл robots.txt. Для этого нажимаем на квадратную иконку, как показано на скриншоте; загрузка файла
  • Теперь нужно отредактировать файл, чтобы он функционировал на вашем сайте. Для этого нажимаем на только что загруженный файл. Откроется страница, на которой необходимо найти 21-ю строчку и заменить «site.ru» на доменное имя вашего сайта. Действия показаны на скриншоте: Замена

На этом очередной важный пункт создания сайта закончен. Теперь индексация страниц сайта поисковыми системами будет выполняться правильно.

Следующий шаг — выбор дизайна сайта, о чем вы можете прочитать в следующей статье.

 

Похожие статьи:

Дизайн сайта на WordPress. Выбор шаблона и советы ... Вот вы уже сделали все первичные действия, чтобы ваш молодой сайт мог функционировать на начальном уровне. Теперь самое время подойти к сайту с тв...
Виджеты для сайта. Настройка виджетов на WordPress... В предыдущей статье мы работали над визуальной стороной сайта - настраивали его дизайн. Теперь же самое время начать обращать внимание на его функ...
Какие выбрать плагины для сайта? WordPress плагины... После работы над виджетами в прошлой статье можно приступать к новой, более сложной, части функционирования сайта. В ходе текущей статьи вы разбер...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *