Файлу ROBOTS.TXT исполняется 20 лет

Главная Работа Бизнес Файлу ROBOTS.TXT исполняется 20 лет
Файлу ROBOTS.TXT исполняется 20 лет
Основные преимущества
  • Все самое важное в области SEO и интернет-маркетинга
  • Обучение джедайским техникам продвижения сайтов в ТОП
  • Полезные материалы для широкого круга digital специалистов

Благополучная индексация любого сайта практически невозможно без наличия небольшого, но чрезвычайно важного файла в корне файловой системы сайта. Речь идет о robots.txt, которому в этом году исполняется 20 лет. При помощи всего нескольких команд вебмастер получает возможность блокирования поисковых роботов к определенным элементам сайта.

Около двадцати лет назад СЕО-рынок в первую очередь заботился о доступности ресурсов пользователю. Главным критерием хорошего сайта была его быстрая загрузка, а сайты, с аудиторией в несколько десятков тысяч человек нередко оказывались «уложенными на лопатки» — наплыв посетителей попросту забивал канал и о работоспособности не могло идти и речи. О поисковой выдаче в далекие 90-е мало кто задумывался.

В середине 1994 года Мартин Костер предлагает ограничивать от поисковых роботов определенные разделы интернет-ресурсов. Осуществить такое ограничение стало возможным благодаря крохотному файлу robots.txt. «Большие киты» того времени — поисковики Lycos, AltaViasta и WebCrafter практически сразу же адаптировали имеющиеся алгоритмы сбора информации под robots.txt.

Несмотря на то, что с момента принятия robots.txt как должное прошло 20 лет, нули и единицы, прописанные в файле, до сегодняшнего дня остаются прекрасным инструментом безопасности ресурса.

Похожие записи
Часто запрашиваемые услуги digital на французском рынке (France, Tier-1)
Часто запрашиваемые услуги digital на французском рынке (France, Tier-1)
Делюсь списком услуг, часто запрашиваемым частниками и...
991
Подробнее
Новые режимы подбора релевантных фраз доступны для пользователей Яндекс.Директа
Новые режимы подбора релевантных фраз доступны для пользователей Яндекс.Директа
В Яндекс.Директе появились новые опции, которые позволяют...
1 163
Подробнее
Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах
«Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов «Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов