Cloudflare обвинила Perplexity в обходе правил индексации сайтов

Компания Cloudflare опубликовала расследование, в котором утверждается, что поисковая система с ИИ Perplexity использует боты для обхода ограничений на индексацию.

Как работают «теневые» боты Perplexity

По данным Cloudflare, когда официальные поисковые роботы Perplexity сталкиваются с блокировками в robots.txt или правилах брандмауэра, активируется отдельная сеть незадекларированных ботов.

• Они используют IP‑адреса, не входящие в официальный диапазон Perplexity;
• Динамически меняют IP, чтобы обойти запреты.

Масштаб проблемы значителен — зафиксирована активность на 10 000+ доменах с миллионами запросов в день.

Почему это нарушение интернет‑норм

С 1994 года для поисковиков действует протокол исключения роботов (robots.txt), который в 2022 году стал официальным интернет‑стандартом. По нему поисковые системы обязаны прозрачно работать и соблюдать директивы сайтов.

Cloudflare считает, что Perplexity нарушает эти правила, и уже исключила сервис из списка проверенных ботов, добавив новые алгоритмы для блокировки скрытого сканирования.

Не первые обвинения в адрес Perplexity

Ранее CEO Reddit Стив Хаффман жаловался на попытки Perplexity обойти блокировку доступа к контенту платформы. Forbes и Wired также писали о плагиате и подозрительных запросах с IP‑адресов, связанных с Perplexity, включая манипуляции с идентификацией поисковых роботов.

На момент публикации Perplexity не комментировала обвинения Cloudflare. Остается открытым вопрос, являются ли ее методы индексации законными и соответствуют ли они международным нормам.