новый Googlebot для SEO?
Вчера OpenAI анонсировала своего «GPTBot». Информация вокруг него все еще ограничена, но есть много предположений о том, что это может означать.
Я считаю, что мы видим первые шаги к предстоящему GPT5 и обучению работе с веб-данными. И что это может оказаться очень важным для SEO-специалистов в будущем.
Что такое GPTBot
GPTBot — это Поисковый робот с искусственным интеллектом разработан OpenAI. Он работает аналогично Googlebot, поисковому роботу Google.
Согласно OpenAI, основной целью GPTBot является сбор веб-данных, которые будут использоваться для обучения будущих моделей ИИ.
GPTBot предназначен для просмотра различных веб-сайтов в Интернете и сбора информации, которая может быть использована для улучшения моделей ИИ и расширения их возможностей.
Краткое описание GPTBot на сайте OpenAIЕсли мы посмотрим на более технические аспекты, пользовательский агент для GPTBot — «GPTBot/1.0», а его полная строка пользовательского агента — «Mozilla/5.0 AppleWebKit/537.36 (KHTML, например, Gecko; совместим; GPTBot/1.0; + и это будет поступать с одного из следующих IP-адресов:
- 20.15.240.64/28
- 20.15.240.80/28
- 20.15.240.96/28
- 20.15.240.176/28
- 20.15.241.0/28
- 20.15.242.128/28
- 20.15.242.144/28
- 20.15.242.192/28
- 40.83.2.64/28
Когда GPTBot обращается к веб-сайту, он следует ряду рекомендаций, чтобы гарантировать, что он сканирует только те страницы, которые подходят для обучения моделей ИИ. Так что не “источники, требующие платного доступа, которые, как известно, собирают личную информацию (PII) или содержат текст, нарушающий наши правила.“.
Как GPTBot может быть возможностью для SEO-специалистов?
Меня уже довольно часто спрашивают, как компания может оптимизировать ответы и результаты, которые дают LLM, такие как ChatGPT.
Это естественный прогресс, так как все больше и больше людей используют ChatGPT в качестве своей новой поисковой системы для более сложных запросов. Я также освещал эти аспекты в статье «Google vs ChatGPT: конец Google в том виде, в каком мы его знаем?»
На сегодняшний день повлиять на результаты в ChatGPT невозможно, так как различные его модели выдают ответы на основе данных обучения вплоть до сентября 2021 года.
Но вы можете повлиять на то, как будущие модели будут отвечать на разные запросы, создав контент, на котором будущие модели будут обучаться. И здесь на помощь приходит бот GPTBot.
Я (и другие) подозреваю, что GPTBot будет выпущен в Интернет для обучения GPT5 (следующая более крупная ожидаемая модель от OpenAI, которая последует за текущей GPT4).
Также может случиться так, что будущие модели LLM / AI не будут такими статичными в своем наборе обучающих данных, как текущие версии, но смогут более свободно просматривать Интернет, чтобы получать последние знания в свой набор данных. Или (что-то вроде того, что вы используете плагин ChatGPT сегодня) они смогут определить, должны ли они просматривать Интернет, если ответ может быть когда-то, что произошло за пределами их даты отсечения данных обучения.
Отличается ли это от Googlebot и Google Bard?
Итак, если мы сравним мой прогноз о будущем LLM, включая GPTBot, с точки зрения того, как Google работает с Googlebot и Google Bard, мы увидим много общего.
В какой-то степени можно сказать, что у Google уже есть набор обучающих данных для их Google Bard — весь Интернет проиндексирован его роботом Googlebot. Так что в какой-то степени Google уже находится в том положении, в котором я вижу, что AI-модели и ChatGPT будут двигаться.
Сегодня до сих пор нет четкой стратегии SEO, которой нужно следовать, чтобы получить функции в Google Bard (или Search Generative Experience / SGE, как мы его также называем). Лучшее обоснованное предположение в настоящее время — следовать тем же принципам, что и когда вы хотите быть представленным во фрагменте Google в поисковой выдаче.
А это опять же означает оптимизацию в сторону старого доброго Googlebot. Если ChatGPT (или Bing на базе ChatGPT) в какой-то момент займет процентную долю рынка, мы можем увидеть, что SEO-специалисты начнут уделять больше внимания GPTBot и внутренней работе алгоритмов LLM/ChatGPT.
Даже если ChatGPT не собирается завоевывать долю рынка, могут быть более специализированные варианты использования, когда некоторые компании видят, что их целевая аудитория активно использует ИИ/чат-платформы и хотят повлиять на результат. И сосредоточьтесь на SEO, специализирующемся на этом.
Предыстория и часто задаваемые вопросы
Могут ли SEO повлиять на ответы в ChatGPT?
На данный момент невозможно напрямую повлиять на ответы в ChatGPT. Модели генерируют ответы на основе предоставленных им обучающих данных, и на них не могут влиять внешние источники.
Что такое Googlebot?
Googlebot — это робот для сканирования веб-страниц или программный агент, используемый Google для автоматического обнаружения и извлечения веб-страниц. Он отвечает за поиск в Интернете, посещение веб-сайтов и сбор информации о них для индексации в поисковой системе Google.
Робот Googlebot переходит по ссылкам на веб-сайтах и анализирует содержимое этих страниц, включая текст, изображения и ссылки. Он помогает обновлять поисковый индекс Google, постоянно сканируя веб-сайты, что позволяет пользователям находить самую актуальную и свежую информацию при выполнении поиска в Google.
Поведение робота Googlebot регулируется специальными рекомендациями, установленными Google для обеспечения справедливого и эффективного сканирования веб-страниц при соблюдении предпочтений владельцев веб-сайтов и указаний в файле robot.txt.
Что такое тренировочные данные?
Обучающие данные для таких моделей, как ChatGPT, включая GPT-4, представляют собой всеобъемлющий и разнообразный набор текстов, представляющих человеческий язык. Он используется для обучения модели пониманию и генерации текста таким образом, который имитирует человеческое письмо и мышление.
Обучающие данные для ChatGPT состоят из большого набора текстов, собранных из различных источников. Это могут быть книги, веб-сайты, Википедия и другой текстовый контент, доступный в Интернете, например на Reddit.
Текстовый корпус разработан таким образом, чтобы быть разнообразным и обширным, охватывая множество тем, стилей и областей. Это помогает модели изучить нюансы человеческого языка, включая грамматику, синтаксис, семантику и контекст.
В некоторых случаях такие модели, как ChatGPT, могут подвергаться контролируемой тонкой настройке с использованием примеров, созданных человеком. Это включает в себя обеспечение модели определенными парами ввода-вывода, чтобы направлять ее ответы в определенных направлениях или стилях.
Разве у ChatGPT не было доступа к Интернету до GPTBot?
Нет, и по-прежнему не работает, если вы не работаете с плагинами. OpenAI немного поэкспериментировал, разрешив ChatGPT поиск Bing, а затем читая результаты, но это снова было временно отключено. GPTBot может быть способом снова открыться для этого, а также предоставить веб-сайтам возможность отказаться от сканирования и использования в ChatGPT (и, таким образом, не только инструмент для обучения будущих моделей).
Как GPTBot предоставляет возможности SEO-специалистам?
Я вижу два основных направления.
- Оптимизация ответов для LLM: С появлением языковых моделей, таких как ChatGPT, компании/оптимизаторы заинтересованы в оптимизации контента, чтобы влиять на ответы, которые дают эти модели.
- Потенциальное влияние на будущие модели: SEO-специалисты могут повлиять на то, как будущие модели, такие как GPT-5, будут отвечать на запросы, создавая контент, который GPTBot будет использовать для обучения моделей.
