Файлу ROBOTS.TXT исполняется 20 лет

Главная Работа Бизнес Файлу ROBOTS.TXT исполняется 20 лет
Файлу ROBOTS.TXT исполняется 20 лет
Основные преимущества
  • Все самое важное в области SEO и интернет-маркетинга
  • Обучение джедайским техникам продвижения сайтов в ТОП
  • Полезные материалы для широкого круга digital специалистов

Благополучная индексация любого сайта практически невозможно без наличия небольшого, но чрезвычайно важного файла в корне файловой системы сайта. Речь идет о robots.txt, которому в этом году исполняется 20 лет. При помощи всего нескольких команд вебмастер получает возможность блокирования поисковых роботов к определенным элементам сайта.

Около двадцати лет назад СЕО-рынок в первую очередь заботился о доступности ресурсов пользователю. Главным критерием хорошего сайта была его быстрая загрузка, а сайты, с аудиторией в несколько десятков тысяч человек нередко оказывались «уложенными на лопатки» — наплыв посетителей попросту забивал канал и о работоспособности не могло идти и речи. О поисковой выдаче в далекие 90-е мало кто задумывался.

В середине 1994 года Мартин Костер предлагает ограничивать от поисковых роботов определенные разделы интернет-ресурсов. Осуществить такое ограничение стало возможным благодаря крохотному файлу robots.txt. «Большие киты» того времени — поисковики Lycos, AltaViasta и WebCrafter практически сразу же адаптировали имеющиеся алгоритмы сбора информации под robots.txt.

Несмотря на то, что с момента принятия robots.txt как должное прошло 20 лет, нули и единицы, прописанные в файле, до сегодняшнего дня остаются прекрасным инструментом безопасности ресурса.

Похожие записи
По просьбе пользователей Европы Google удаляет персональную информацию
По просьбе пользователей Европы Google удаляет персональную информацию
Компания Google решила несколько усмирить был своего...
1+
147
Подробнее
В Google считают, что не стоит использовать Disalow Links для отклонения нерелевантных ссылок
В Google считают, что не стоит использовать Disalow Links для отклонения нерелевантных ссылок
Джон Мюллер, являющийся представителем Google, посоветовал...
0
135
Подробнее
Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах
«Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов «Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов