AI-поисковик Perplexity обвиняют в нарушении правил обхода сайтов
Обвинения Cloudflare и реакция сообщества на сканирование сайтов ИИ-агентами
Компания Cloudflare на этой неделе обвинила AI-поисковик Perplexity в скрытном обходе сайтов, игнорируя методы блокировки, но эта ситуация сложнее, чем может показаться.
Многие стали на защиту Perplexity, утверждая, что доступ АИ к сайтам, несмотря на желание владельцев, допустим. Этот вопрос станет всё более актуальным по мере того, как ИИ-агенты захватывают интернет. Следует ли рассматривать агента, запрашивающего сайт от имени пользователя, как бота или как человека?
Cloudflare, известная своими услугами по защите от ботов, провела тест, создав новый сайт и блокируя известные боты Perplexity с помощью robots.txt, но Perplexity всё равно предоставил информацию о сайте. Исследователи Cloudflare обнаружили, что AI использовал «обычный браузер, имитирующий Google Chrome на macOS» после блокировки.
Исполнительный директор Cloudflare Мэтью Принс заявил, что некоторые «респектабельные» AI-компании действуют хитро. Хотя многие не согласились с его оценкой, предполагая, что Cloudflare всего лишь фиксировала, как ИИ доступал общественный сайт по запросу пользователя.
Perplexity в своём блоге отрицала, что боты принадлежат компании, указывая на третью сторону, и даже обвинила Cloudflare в рекламе своих услуг. Основная тезис защиты Perplexity состояла в различении автоматического и пользовательского доступа к информации.
Примеры, такие как OpenAI, подтверждают, что компании могут следовать установкам robots.txt без обхода. Новая инициатива Web Bot Auth от Cloudflare и Internet Engineering Task Force должна помочь отличать ИИ-запросы.
Дебаты по поводу бот-активности продолжают разгораться, так как ИИ-движение начинающих компаний угрожает привычному поведению пользователей в интернете.
Как утверждают специалисты, объём работы поисковиков может сократиться на 25% к 2026 году, когда люди начнут активно использовать ИИ-агентов. Однако сайты могут потерять трафик и доход от рекламы, если заблокируют ИИ-доступ.
Дискуссия продолжается: одни хотят, чтобы Perplexity посещал любой общественный контент от их имени, другие же беспокоятся о снижении трафика.
