پروژه چه کاری انجام می‌دهد؟
نگه‌دارندگان llm-d در ۲۰ اکتبر ۲۰۲۶ نسخه 1.0 را معرفی کردند. این پروژه یک مدل زبانی تازه نیست؛ مجموعه‌ای برای هدایت و زمان‌بندی اجرای مدل‌ها در زیرساخت توزیع‌شده است و با موتورهایی مانند vLLM و SGLang کار می‌کند.
در معرفی نسخه جدید، رابط پایدار v1، کیفیت سرویس برای چند مستأجر، اولویت‌بندی بار و ارتقا در محیط عملیاتی برجسته شده‌اند. قابلیت‌هایی مانند مسیریابی آگاه از کش و جداسازی مراحل پردازش نیز بخشی از زمینه فنی پروژه‌اند.
منظور از عملیات روز دوم چیست؟
راه‌اندازی نخستین پاسخ مدل با اداره یک سرویس مداوم متفاوت است. پس از راه‌اندازی باید درخواست‌های هم‌زمان، شکست مؤلفه‌ها، تغییر نسخه و رقابت چند گروه برای ظرفیت را مدیریت کرد. ادعاهای کارایی معرفی‌شده در گزارش به پیکربندی و بار آزمایش مربوط‌اند و نباید برای هر مدل و سخت‌افزاری تضمین فرض شوند.
آزمون پیشنهادی تحریریه
برای یک استقرار آزمایشی، دو گروه درخواست با اولویت متفاوت بسازید و رفتار سامانه را هنگام اشباع بسنجید. زمان اولین توکن، نرخ خطا و زمان بازیابی پس از توقف یک مؤلفه را کنار مصرف شتاب‌دهنده ثبت کنید. معیار پذیرش بهتر است کیفیت سرویس قابل‌اندازه‌گیری باشد، نه صرفاً بالا‌بودن درصد استفاده از GPU.
