اولویت به‌جای جداسازی همیشگی ظرفیت
Red Hat در گزارش ۲۰ اکتبر ۲۰۲۶، سرویس‌دهی اولویت‌محور در Red Hat AI 3.5 را توضیح داد. در الگوی معرفی‌شده، درخواست‌ها به گروه‌های اولویت تقسیم می‌شوند؛ داخل هر گروه، نوبت‌دهی میان مستأجرها انجام می‌شود و ترتیب درخواست‌های هر مستأجر حفظ می‌شود.
هدف این است که کارهای دسته‌ای در ظرفیت آزاد اجرا شوند و هنگام ازدحام، درخواست‌های حساس به زمان زودتر سرویس بگیرند. شرکت در آزمون‌های خود بهبود زمان نخستین توکن و کاهش رد درخواست را گزارش می‌کند. نتایج به مدل، شتاب‌دهنده و ترکیب بار همان آزمون‌ها وابسته‌اند؛ اولویت‌بندی نیز با تضمین یک زمان پاسخ ثابت برابر نیست.
ارزیابی پیشنهادی تحریریه
در یک آزمایش کوچک، بار تعاملی را ثابت نگه دارید و حجم کار دسته‌ای را مرحله‌به‌مرحله بالا ببرید. زمان انتظار هر گروه، نرخ خطا و زمان پایان کار دسته‌ای را هم‌زمان ثبت کنید. بالا‌بودن مصرف GPU به‌تنهایی معیار موفقیت تجربه کاربر نیست.
برای جلوگیری از گرسنگی یک گروه، سقف انتظار و روش رسیدگی به صف عقب‌افتاده را مشخص کنید. همچنین سهمیه و کنترل هزینه را جدا از اولویت پردازش طراحی کنید. اولویت بالا نباید بی‌دلیل به مجوز مصرف نامحدود منابع تبدیل شود.
