Cloudflare устанавливает новый срок для разделения веб-сканеров
Новая политика Cloudflare для защиты содержания от несанкционированного использования AI
Cloudflare объявила о введении нового срока для индустрии AI, чтобы обеспечить разделение веб-сканеров, предназначенных для традиционного поиска, таких как Google Search, от тех, которые используются для агентов AI и обучения. С 15 сентября 2026 года по умолчанию будут заблокированы «смешанные» сканеры от доступа к страницам, на которых размещена реклама.
Это означает, что сканеры, комбинирующие поисковые функции, использование агентами и обучение, будут по умолчанию заблокированы от доступа к этим сайтам, если владельцы сайтов не настроят параметры иначе. Эти изменения применятся к новым клиентам Cloudflare, новым сайтам, созданным существующими клиентами, и ко всем существующим бесплатным клиентам.
Такая мера может повлиять на доступ поставщиков AI-моделей к веб-контенту, необходимому для обучения и поддержки их агентских сервисов.
Cloudflare отмечает, что большинство владельцев сайтов хотят, чтобы их контент был доступен через поиск и AI сервисы, но они нуждаются в защите от бесплатной передачи их интеллектуальной собственности.
Компания особо выделяет «крупнейший в мире поисковик» (явно указывая на Google), который имеет доступ к информации «в 2 раза больше», чем другие AI компании, поскольку поисковый гигант делает клиентам трудным оставаться видимыми без использования для AI.
Google защищается, отмечая, что предоставляет бот Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и AI продуктов, таких как Gemini Apps и Vertex API, не влияя на их появление в Google Search.
«Теперь, когда большинство интернет-трафика — не человеческое, мы должны действовать быстрее для создания устойчивой экосистемы», — заявил соучредитель и CEO Cloudflare Мэтью Принс, ссылаясь на недавний рубеж, когда боты впервые превзошли людей по объему интернет-трафика.
Cloudflare предлагает ряд продуктов для помощи пользователям в запуске собственных AI систем, а также инструменты для контроля над контентом в эпоху AI. В последние годы компания запустила инструменты противодействия AI ботам, включая рынок, позволяющий сайтам взимать плату за сканирование, называемую Pay Per Crawl.
Теперь это трансформируется в «Pay Per Use», что позволит издателям взимать плату с AI компаний, не только когда их контент извлекается, но и когда он создает ценность.
Для реализации Cloudflare первоначально сотрудничает с двумя партнерами: Ceramic.ai и You.com. Когда издатель подключается, ему платят за появление контента в AI результатах поиска Ceramic или за доступ You.com к их премиум-контенту.
Остальные AI компании могут адаптировать эту модель под свои нужды, отмечает Cloudflare.
