Файлу ROBOTS.TXT исполняется 20 лет

Главная Работа Бизнес Файлу ROBOTS.TXT исполняется 20 лет
Файлу ROBOTS.TXT исполняется 20 лет
Основные преимущества
  • Все самое важное в области SEO и интернет-маркетинга
  • Обучение джедайским техникам продвижения сайтов в ТОП
  • Полезные материалы для широкого круга digital специалистов

Благополучная индексация любого сайта практически невозможно без наличия небольшого, но чрезвычайно важного файла в корне файловой системы сайта. Речь идет о robots.txt, которому в этом году исполняется 20 лет. При помощи всего нескольких команд вебмастер получает возможность блокирования поисковых роботов к определенным элементам сайта.

Около двадцати лет назад СЕО-рынок в первую очередь заботился о доступности ресурсов пользователю. Главным критерием хорошего сайта была его быстрая загрузка, а сайты, с аудиторией в несколько десятков тысяч человек нередко оказывались «уложенными на лопатки» — наплыв посетителей попросту забивал канал и о работоспособности не могло идти и речи. О поисковой выдаче в далекие 90-е мало кто задумывался.

В середине 1994 года Мартин Костер предлагает ограничивать от поисковых роботов определенные разделы интернет-ресурсов. Осуществить такое ограничение стало возможным благодаря крохотному файлу robots.txt. «Большие киты» того времени — поисковики Lycos, AltaViasta и WebCrafter практически сразу же адаптировали имеющиеся алгоритмы сбора информации под robots.txt.

Несмотря на то, что с момента принятия robots.txt как должное прошло 20 лет, нули и единицы, прописанные в файле, до сегодняшнего дня остаются прекрасным инструментом безопасности ресурса.

Похожие записи
Оптимальная длина целевой страницы
Оптимальная длина целевой страницы
Многие владельцы сайтов и разработчики стоят перед...
794
Подробнее
Зеркала Я.Вебмастер и изменение настроек
Зеркала Я.Вебмастер и изменение настроек
Один из главных инструментов сайтостроителя, сервис...
1 022
Подробнее
Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах
«Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов «Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов