پروژه آپرتوس نسخه ۱.۵ مدلهای زبان باز خود را معرفی کرده است. این مدلهای ۸ و ۷۰ میلیارد پارامتری حالا با درک چندوجهی، پنجره متنی بسیار طولانی‌تر و قابلیتهای پیشرفته‌تری برای استدلال و استفاده از ابزارها عرضه می‌شوند.
ویژگی‌های کلیدی آپرتوس ۱.۵
آپرتوس ۱.۵ یک ارتقای عمده نسبت به نسل اول است. وزنهای نهایی مدلهای ۸B و ۷۰B در ۲۴ ژوئیه ۲۰۲۶ روی هگینگ‌فیس تحت مجوز آپاچی ۲.۰ منتشر شدند.
مهم‌ترین بهبودها شامل موارد زیر است:
- درک چندوجهی بومی: مدل حالا می‌تواند همزمان با متن، تصاویر و فایلهای صوتی را پردازش کند. این یعنی اسناد، نمودارها و عکس‌ها مستقیماً وارد گفتگو می‌شوند. پردازش زبان گفتاری نیز اگرچه هنوز در مرحله آزمایشی است، پشتیبانی می‌شود.
- حالت تفکر (Thinking Mode): کاربران می‌توانند مدل را در یک حالت تفکر قرار دهند تا قبل از پاسخ دادن، درباره ورودی استدلال کند. این حالت عملکرد در مسائل پیچیده استدلالی را بهبود می‌بخشد.
- پنجره متن طولانی: ظرفیت متن زمینه (context window) به ۲۶۲,۱۴۴ توکن افزایش یافته که نسبت به آپرتوس ۱.۰ چهار برابر بیشتر است.
- پیروی بهتر از دستورات: مدل در اجرای دقیق دستورالعمل‌ها بهتر شده و پاسخ‌های قابل پیش‌بینی‌تر و دقیق‌تری ارائه می‌دهد.
- استفاده بهبودیافته از ابزارها: مدل برای یکپارچه‌سازی مؤثرتر با ابزارهای خارجی و APIها آموزش دیده است.
- ارزش‌های باز تقویت‌شده: مدل پایبندی قوی‌تری به منشور آپرتوس دارد که شفافیت در مورد ارزش‌ها و اصول مدل را تضمین میکند.
فرآیند آموزش مدل
آپرتوس ۱.۵ از طریق آموزش ادامه‌دار روی مدل نسل اول ساخته شده است. به مدل ۸B حدود ۴ تریلیون توکن داده متنی و چندوجهی و به مدل ۷۰B حدود ۲ تریلیون توکن اضافه شد. بیش از نیمی از توکن‌های آموزشی فقط متن بودند تا توانایی‌های زبانی نسخه قبلی حفظ شود.
چندوجهی‌سازی از طریق توکنایزر
رویکرد آپرتوس «ادغام زودهنگام» است. یعنی تصاویر و صدا به صورت توکن‌های گسسته در همان توالی توکن‌های متن وارد می‌شوند، نه با یک انکودر دیداری جداگانه.
تصاویر با توکنایزر Emu3.5 (یک تصویر ۵۱۲×۵۱۲ به ۱۰۲۴ توکن تبدیل می‌شود) و صدا با WavTokenizer (۴۰ توکن در ثانیه) توکن‌بندی می‌شوند. فقط دایره واژگان گسترش یافته و معماری مدل بدون تغییر باقی مانده است.
مراحل آموزش اولیه و پسا‌آموزی
آموزش اولیه در چهار مرحله انجام شد: دادههای جفت‌نشده (متن، تصویر و صوت مستقل)، دادههای جفت‌شده (زیرنویس تصویر و رونوشت صوتی)، مرحله سردسازی با دادههای باکیفیت‌تر و در نهایت گسترش تدریجی پنجره متن تا ۲۶۲هزار توکن.
پسا‌آموزی نیز در پنج مرحله طی شد:
- ریزتنظیمی با نظارت (SFT) روی ۳.۷ میلیون نمونه متنی به همراه دادههای تصویری و گفتاری.
- SFT پنجره طولانی برای بازیابی توانایی پردازش متن طولانی.
- یادگیری تقویتی با پاداش قابل تأیید (RLVR) روی حدود ۳۵۰هزار دستور ریاضی، کدنویسی، چندزبانه و بینایی.
- تراز ترجیحی مستقیم (DPO) برای بهبود کیفیت گفتگو، استفاده از ابزار و ایمنی.
- تراز با منشور (SDPO) که فقط روی مدل ۸B اعمال شد.
نتایج ارزیابی و عملکرد
حوزه ارزیابی‌ها به طور قابل توجهی گسترش یافته و علاوه بر معیارهای متنی، ارزیابی‌های چندوجهی و حالت تفکر نیز اضافه شدهاند.
اگرچه آپرتوس ۱.۵ هنوز از مدلهای مرزی متنباز پیشتاز عقب است، اما بهبود چشمگیری در قابلیتهای کدنویسی و پیروی از دستورات نشان می‌دهد. مدل ۸B در وظایف چندزبانه و پیروی از دستورات از مدلهای متنباز هم‌سایز خود بهتر عمل میکند.
حالت تفکر نیز عملکرد را در معیارهای چالش‌برانگیز و سنگین از نظر استدلال، مانند AIME، بهبود می‌بخشد. عملکرد چندوجهی مدل به Gemma 4 12B و دیگر مدلهای متنباز فعلی نزدیک است و در درک فضایی و درک اسناد/نمودارها در میان مدلهای متنباز رقابتی عمل میکند.
آپرتوس همکاری نزدیکی با ائتلاف EvalEval دارد تا ارزیابی‌ها کاملاً شفاف و قابل تکرار باشند. نتایج در قالب «کارت ارزیابی» منتشر می‌شوند که جزئیاتی مانند اجراکننده، تنظیمات تولید و تفسیر هر متریک را ثبت میکند.
دسترسی و مشارکت
تمام دستورالعمل‌ها، دادههای ترکیبی و کدهای آموزش در گزارش فنی مستند شدهاند. چک‌پوینت‌های میانی، وزنهای پایه و دادههای آموزشی در مجموعه Hugging Face آپرتوس میزبانی می‌شوند.
| مدل‌ها | ۸B | ۷۰B |
|---|---|---|
| پیش‌آموزی (پایه پنجره طولانی) | Apertus-v1.5-8B-base | Apertus-v1.5-70B-base |
| ریزتنظیمی با نظارت (SFT) | Apertus-v1.5-8B-SFT | Apertus-v1.5-70B-SFT |
| یادگیری تقویتی (RLVR) | Apertus-v1.5-8B-RL | Apertus-v1.5-70B-RL |
| تراز ترجیحی (DPO) | Apertus-v1.5-8B-DPO | Apertus-v1.5-70B (نهایی) |
| تراز با منشور (SDPO) | Apertus-v1.5-8B (نهایی) | – |
دسترسی به آپرتوس ۱.۵ از طریق API توسط ارائه‌دهندگانی مانند Swisscom و Infomaniak اعلام شده است. اپلیکیشن‌های محبوبی مانند Proton Lumo و Infomaniak Euria نیز این مدل را یکپارچه کرده‌اند.
تیم آپرتوس نقشه راه نسخه ۲.۰ را اعلام کرده که شامل معماری اسپارس/ MoE، حدود ۶۰۰ میلیارد پارامتر و تمرکز بر روی ایجنت‌ها، ریاضیات و کدنویسی خواهد بود.
پرسش‌های متداول
مدل آپرتوس ۱.۵ چه قابلیتهای جدیدی دارد؟
آپرتوس ۱.۵ علاوه بر متن، تصاویر و فایلهای صوتی را درک میکند، حالت تفکر اختیاری دارد، پنجره متن آن به ۲۶۲۱۴۴ توکن افزایش یافته و در پیروی از دستورات و استفاده از ابزارها بهتر شده است.
آیا مدلهای آپرتوس ۱.۵ واقعاً متنباز هستند؟
بله. وزنهای مدل، دادههای آموزشی، جزئیات فرآیند آموزش و حتی کدها تحت مجوز آپاچی ۲.۰ به طور کامل منتشر شدهاند و قابل تکرار هستند.
آپرتوس ۱.۵ در چه کاربردهایی قوی عمل میکند؟
این مدل در درک اسناد و نمودارها، وظایف چندزبانه، پیروی از دستورات و با فعال‌سازی حالت تفکر، در مسائل استدلالی پیچیده مانند ریاضیات عملکرد بهتری دارد.
منبع: Hugging Face
