Scope
This original IROSG guide covers طراحی alertهای قابل اقدام در Prometheus و کاهش alert fatigue using the cited primary documentation.
Core model
Prometheus rule یک expression را در بازه‌های زمانی ارزیابی می‌کند. شرط alert باید metric و context کافی داشته باشد و با for می‌توان از تبدیل spike کوتاه به incident جلوگیری کرد. labelها routing و grouping را در Alertmanager ممکن می‌کنند.
Practical workflow
برای هر alert یک owner، impact و runbook مشخص کنید. threshold را از SLO یا ظرفیت واقعی استخراج کنید، نه عدد تصادفی. alertهای warning و critical را به action متفاوت وصل کنید و message را شامل cluster/service/instance قابل جست‌وجو بسازید.
Failure modes
Alert روی symptom مبهم یا metric پرنوسان به‌سرعت بی‌اعتماد می‌شود. cardinality زیاد در label، expression سنگین و duplicate alert از چند rule هم هزینهٔ monitoring را بالا می‌برد.
Lab
یک metric آزمایشی بسازید، threshold را عمداً رد کنید و for را از صفر به چند دقیقه تغییر دهید. سپس grouping Alertmanager را تست و زمان از failure تا notification را ثبت کنید.
Production method
Capture a baseline, change one variable at a time, test positive and negative paths, keep evidence, and rehearse rollback before broad rollout.
