گرانیت سوییچ ۴.۱ (Granite Switch 4.1) از آی‌بی‌ام، گفت‌وگوی معمولی، تصمیمگیری عمومی و تخصصی و تبدیل گفتار به متن را در یک نقطه پایانی واحد جمع می‌کند. این مدلها در دو اندازهٔ ۸ و ۳۰ میلیارد پارامتری عرضه شدهاند و به گفتهٔ سازنده تقریباً همان مقدار حافظهٔ GPU مدل پایه را اشغال میکنند؛ یعنی قابلیت بیشتر با تعداد GPU کمتر.
پروژهٔ Granite Switch که بهار گذشته معرفی شد، رویکردی ماژولار به توسعهٔ مدل را ممکن می‌کند. نسخهٔ ۴.۱ حالا میتواند میان پاسخ‌های زبانی طبیعی، تصمیم‌های عمومی و تخصصی و کارهای تبدیل گفتار به متن جابه‌جا شود.
سه قابلیتی که در یک مدل ترکیب شدهاند
مدل‌های Granite-Switch-4.1-8B و Granite-Switch-4.1-30B با این اجزا پیکربندی شدهاند:
- یک آداپتور تصمیم تازه (Decision aLoRA) برای تصمیمگیری عمومی، مانند فراخوانی v1/systemone.
- یک آداپتور تخصصی به نام Guardian که به‌طور میانگین در کارهای تصمیمگیری مرتبط با ایمنی از جِو ۱٫۱۳ (Jev 1.13)، مایکروسافت-دسیژن-۱ (Microsoft-Decision-1)، جی‌پی‌تی-لونا-دسیژنز (GPT-Luna-Decisions) و کلف-فلش (Clef-Flash) بهتر عمل می‌کند.
- مدل گرانیت-اسپیچ-۵٫۰-توربو-CTC (Granite-Speech-5.0-Turbo-CTC) که بر پایهٔ اعلام سازنده سریع‌ترین مدل تبدیل گفتار به متن در لیدربورد اوپن‌ای‌اس‌آر (OpenASR Leaderboard) است و برای رونویسی درون مدل جای گرفته است.
هر سهٔ این فناوری‌ها همراه با مدل پایه در یک مدل ترکیب شدهاند و مجموع آن‌ها روی GPU تقریباً همان حافظه‌ای را می‌گیرد که مدل پایه به‌تنهایی می‌گرفت.
چرا افزودن قابلیت‌ها حافظه را چند برابر نمی‌کند؟
آداپتورهای Switch به شکل aLoRAهای کارآمد از نظر کش (cache-efficient Activated LoRAs) ساخته شدهاند. یعنی کش KV که در تولید یک پاسخ با مدل پایه ایجاد می‌شود، برای تصمیم‌های آداپتوری بعدی قابل استفادهٔ مجدد است.
ترکیب این ویژگی با مشارکت‌های تازهٔ تیم سازنده در vLLM برای سریع‌تر کردن استنتاج آداپتورهای کم‌رتبه، به‌همراه یک انکودر ASR هم‌مکان، باعث می‌شود مدل‌های Granite Switch 4.1 بتوانند میان یک درخواست چت، یک درخواست تصمیم و یک درخواست صوتی با سرعت بالا جابه‌جا شوند.
برای دیدن این ترکیب در عمل، فضای گفتار-به-تصمیم (Speech-to-Decisions) روی هاگینگ‌فیس وجود دارد که در آن مدل granite-switch-4.1-8b صدا را رونویسی می‌کند، خلاصه می‌سازد، محتوای آسیب‌زا را غربال می‌کند و ۱۵ نشانگر دیگر تعریف‌شده توسط کاربر را می‌آزماید؛ همهٔ این‌ها در زمان واقعی و روی یک نقطه پایانی واحد.
Granite Libraries؛ مدل‌های تصمیمگیری از پیش موجود
مدل‌های تصمیمگیری تازگی ندارند. در انتشار پیشین Granite Libraries، مخزنی از آداپتورهای تخصصی «مدل تصمیم» و آداپتورهای دیگر کارهای تخصصی ارائه شد که می‌توان آن‌ها را در مدل‌های Switch سفارشی ترکیب کرد. جِو و دیگر مدل‌های تصمیمگیری بسته روی عمومیت تمرکز دارند، اما به گفتهٔ تیم سازنده بسیاری از آداپتورهای تخصصی granitelib در کارهای دسته‌بندی تخصصی از مدل‌های عمومی‌گرا بهتر عمل میکنند.
چون آداپتورها کش KV مدل پایه را به اشتراک می‌گذارند، افزودن متخصص‌ها در کنار یک آداپتور تصمیم عمومی تقریباً هیچ هزینه‌ای ندارد. نتیجه این است که پوشش گسترده را از مدل عمومی و دقت بالاتر را در کارهای مهم از متخصص‌ها می‌گیرید.
در یک «مسابقه» میان Granite-Switch-4.1-30B (پایهٔ فریزشدهٔ Granite به‌همراه ۴ آداپتور تخصصی aLoRA) و جِو-۲۷B (پایهٔ فریزشدهٔ Qwen به‌همراه ۱ آداپتور تصمیم عمومی LoRA)، مدل Granite Switch 4.1 توانست یک گردش‌کار واقعی پنج‌مرحله‌ای RAG را بسیار سریع‌تر از رقیبش به پایان برساند.
مدل Switch خودتان را بسازید
Granite-Switch-4.1-8B و -30B با شعار «باتری‌ها همراه دستگاه» منتشر شدهاند؛ یعنی با مجموعهای از پیش تعریف‌شده از آداپتورهای مفید کامپایل شدهاند. اما استفاده از این نسخه اجباری نیست و هر کسی میتواند آداپتورهای Granite Libraries را ترکیب و مدل Switch دلخواه خود را بسازد.
تیم سازنده می‌گوید فرصت بزرگی برای جامعه می‌بیند تا مدل‌های Granite Switch را با آداپتورهای سفارشی و شخص ثالث گسترش دهند. برنامه این است که یک Adapter SDK برای آموزش آداپتورها در Mellea، همراه با آموزش‌ها و پشتیبانی Granite Switch منتشر شود. این آداپتورها می‌توانند آداپتورهای دسته‌بندی تخصصی برای تقویت گردش‌کارهای تصمیم‌محور باشند یا آداپتورهایی برای کارهای زبانی خاص.
یک نمونهٔ غیرمعمول: نسخهٔ سفارشی ۳ میلیارد پارامتری Granite Switch در بازی کلاسیک Doom در کسری از ثانیه تصمیم می‌گیرد و ۶۰ تا ۱۰۰ تصمیم در ثانیه می‌گیرد، در حالی که عدد گزارش‌شده برای جِو ۱۰ تصمیم در ثانیه است. بر خلاف جِو، این مدل میتواند هنگام بازی روایت کند و به پرسش‌های شما هم پاسخ دهد.
از هر جا قابل دسترسی است
Granite Switch 4.1 در اندازه‌های ۸ و ۳۰ میلیارد پارامتری عرضه شده تا هر جا که بار کاری شما اجرا می‌شود جا بگیرد. این مدل در vLLM با یک افزونه اجرا می‌شود و پشتیبانی استنتاج بومی در llama.cpp و پلتفرم‌های پایین‌دستی دارد؛ به این ترتیب میتواند به‌سادگی جای فراخوانی‌های API مسیر /v1/systemone را در هر جایی بگیرد و هم‌زمان درخواست‌های چت سنتی را هم با یک کش پیشوند مشترک پاسخ دهد.
منابع شروع کار
- کارت‌های مدل Granite Switch 4.1
- دموی Speech-to-Decisions
- مخزن گیت‌هاب Granite Switch
- نوشتهٔ انتشار اولیهٔ Granite Switch و Granite Libraries
- ساخت مسابقهٔ aLoRA در برابر LoRA روی Colab
تیم سازنده وعده داده جزئیات و داده‌های بیشتری دربارهٔ Granite Switch در هفته‌های آینده منتشر کند. تا آن زمان، می‌توانید مدل‌های تازهٔ Switch و این منابع را امتحان کنید. اگر با کارهای دسته‌بندی مرتبط با ایمنی و تشخیص الگوهای پرخطر سر و کار دارید، نوشتهٔ مدل تشخیص خودکار کلاهبرداری در دستگاه‌های موبایل هم تصویر مکملی از این حوزه میدهد.
پرسش‌های متداول
Granite Switch 4.1 چه کاری انجام میدهد؟
این مدلها چت معمولی، تصمیمگیری عمومی و تخصصی و تبدیل گفتار به متن را از یک نقطه پایانی واحد ارائه میکنند. هر سه قابلیت همراه با مدل پایه در یک مدل ترکیب شدهاند.
Granite Switch 4.1 در چه اندازه‌هایی عرضه شده است؟
در دو اندازهٔ ۸ و ۳۰ میلیارد پارامتری. این مدل در vLLM با یک افزونه اجرا می‌شود و پشتیبانی استنتاج بومی در llama.cpp و پلتفرم‌های پایین‌دستی هم دارد.
آیا باید حتماً از نسخهٔ آمادهٔ سازنده استفاده کرد؟
نه. نسخههای Granite-Switch-4.1-8B و -30B با مجموعهای پیشفرض از آداپتورها منتشر شدهاند، اما هر کسی میتواند آداپتورهای دلخواه خود را از Granite Libraries ترکیب کند و مدل Switch اختصاصی بسازد.
بخش تبدیل گفتار به متن آن چقدر سریع است؟
مدل Granite-Speech-5.0-Turbo-CTC که درون آن جای گرفته، بر اساس اعلام سازنده سریع‌ترین مدل ASR در لیدربورد OpenASR است.
منبع: Hugging Face
