Файлу ROBOTS.TXT исполняется 20 лет

Главная Работа Бизнес Файлу ROBOTS.TXT исполняется 20 лет
Файлу ROBOTS.TXT исполняется 20 лет
Основные преимущества
  • Все самое важное в области SEO и интернет-маркетинга
  • Обучение джедайским техникам продвижения сайтов в ТОП
  • Полезные материалы для широкого круга digital специалистов

Благополучная индексация любого сайта практически невозможно без наличия небольшого, но чрезвычайно важного файла в корне файловой системы сайта. Речь идет о robots.txt, которому в этом году исполняется 20 лет. При помощи всего нескольких команд вебмастер получает возможность блокирования поисковых роботов к определенным элементам сайта.

Около двадцати лет назад СЕО-рынок в первую очередь заботился о доступности ресурсов пользователю. Главным критерием хорошего сайта была его быстрая загрузка, а сайты, с аудиторией в несколько десятков тысяч человек нередко оказывались «уложенными на лопатки» — наплыв посетителей попросту забивал канал и о работоспособности не могло идти и речи. О поисковой выдаче в далекие 90-е мало кто задумывался.

В середине 1994 года Мартин Костер предлагает ограничивать от поисковых роботов определенные разделы интернет-ресурсов. Осуществить такое ограничение стало возможным благодаря крохотному файлу robots.txt. «Большие киты» того времени — поисковики Lycos, AltaViasta и WebCrafter практически сразу же адаптировали имеющиеся алгоритмы сбора информации под robots.txt.

Несмотря на то, что с момента принятия robots.txt как должное прошло 20 лет, нули и единицы, прописанные в файле, до сегодняшнего дня остаются прекрасным инструментом безопасности ресурса.

Похожие записи
Для асессоров Google опубликована новая версия руководства
Для асессоров Google опубликована новая версия руководства
31 марта 2014 года обновилось руководство для асессоров...
0
333
Подробнее
Специалисты Google разработают новый алгоритм
Специалисты Google разработают новый алгоритм
На конференции Marketing Expo, Мэтт Каттс, начальник отдела...
0
344
Подробнее
Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах Социальная сеть Facebook меняет алгоритм ранжирования видео в лентах
«Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов «Яндекс» работает над реорганизацией видеохостинга и закрывает сервис блогов