Google обновил документация для поисковых роботов. В список краулеров добавлен новый краулер – GoogleOther. Он описывается как «универсальный сканер, который может использоваться различными группами разработчиков для извлечения общедоступного контента с веб-сайтов».
По словам Google, его можно использовать для одноразового обхода внутренних исследований и разработок. GoogleOther всегда соблюдает правила robots.txt и использует те же диапазоны IP-адресов, что и Googlebot.
Как объяснил поисковик Гэри Ишна твоей стороне я LinkedIn, новый сканер «выполнит часть работы робота Googlebot, чтобы увеличить его пропускную способность». Он уточнил, что:
«Новый сканер использует ту же инфраструктуру, что и Googlebot, и поэтому имеет те же ограничения и функции, что и Googlebot: ограничения нагрузки на хост, robots.txt, версию протокола http, размер выборки… По сути, это Googlebot под другим именем».
Западные специалисты предположили, что новый сканер могла использовать команда, работающая над Google Bard, но в компании это никак не прокомментировали. И Гэри Ильш еще раз подчеркнул Твиттерчто «Googlebot используется для построения индекса, а GoogleOther используется для других задач, ранее принадлежавших Googlebot».
Обратите внимание, что в последний раз, когда справочная документация Google Robots обновлялась в сентябре прошлого года, в список сканеров был добавлен новый пользовательский агент Site Verifier.
