60-second brief
This is an original IROSG editorial analysis based on the cited primary source.
- Cloudflare می‌گوید Verified بودن هویت Bot به‌تنهایی تضمین رفتار مسئولانه نیست.
- سیستم جدید به‌صورت پیوسته بررسی می‌کند Bot تا چه حد robots.txt و feedbackهایی مانند HTTP 429 را رعایت می‌کند.
- هدف ایجاد trust band توضیح‌پذیر بر اساس الگوی رفتاری در طول زمان است و Cloudflare قصد دارد بخشی از این داده را روی Radar منتشر کند.
What changed?
وب در دوره‌ای است که «شناختن Bot» دیگر کافی نیست. یک crawler ممکن است امضای معتبر داشته باشد و دقیقاً معلوم باشد متعلق به چه شرکتی است، اما همچنان rate limit یا preference ناشر را نادیده بگیرد. Cloudflare با این خبر بحث را از Identity به Reputation رفتاری می‌برد: اعتماد باید در طول زمان ساخته شود و قابلیت پس‌گرفتن داشته باشد.
Technical view
سیگنال‌های اولیه دو گروه‌اند: آیا crawler دستورهای منتشرشدهٔ سایت را رعایت می‌کند و آیا پس از feedback مستقیم مثل HTTP 429 رفتار خود را تغییر می‌دهد. Cloudflare به‌جای یک verdict دائمی، دربارهٔ trust band صحبت می‌کند تا رفتار مداوم و patternهای تکرارشونده مهم‌تر از یک رخداد منفرد باشند.
Who should care?
تیم‌های Web Security، SEO/Content Platform، صاحبان API و سازندگان crawler/agent باید این جهت را جدی بگیرند.
Before adopting
robots.txt و policyهای bot را واضح کنید، 429 را با Retry-After مناسب برگردانید، رفتار crawlerهای خودتان را بعد از rate limit تست کنید و telemetry bot traffic را نگه دارید. اگر agent می‌سازید، backoff را feature فرعی نبینید؛ بخشی از اعتماد عملیاتی است.
Caveat
robots.txt یک مرز authorization کامل نیست و trust score هم جای WAF/Access Control را نمی‌گیرد. همچنین interpretation رفتار bot باید context و خطاهای موقت را در نظر بگیرد.
What to watch
باید دید trust band چگونه عمومی می‌شود، thresholdها چه‌قدر قابل تنظیم‌اند و Cloudflare چه سیگنال‌های دیگری به آن اضافه می‌کند.
