مدل Beam از Reflection با 501 میلیارد پارامتر منتشر شد و برای اولین بار از یک آزمایشگاه جدید آمریکایی در دسترس عموم قرار گرفت. این مدل باز تحت لایسنس Apache 2.0 عمل می‌کند و تمرکز ویژه‌ای روی موارد کد نویسی و agentic دارد.
معرفی مدل Beam
مدل Beam توسط آزمایشگاه Reflection ساخته شده و اولین مدل این آزمایشگاه است. این مدل یک شبکه Mixture-of-Experts (MoEs) با 501 میلیارد پارامتر دارد که تنها ۲۳ میلیارد پارامتر فعال هر توکن را پردازش می‌کنند. ورودی و خروجی آن متنی است و پنجره زمینه آن یک میلیون توکن می‌باشد. این مدل تحت لایسنس Apache 2.0 منتشر شده و برای تیم‌هایی طراحی شده که می‌خواهند مدل frontier را روی سختافزار، زیرساخت یا ابر خود اجرا کنند.
مدل Beam با یک harness اختصاصی Rust-based که عملکرد بهینه‌ای ارائه می‌دهد، همراه است. پشتیبانی روز اول آن در کتابخانههای Transformers، vLLM و SGLang فراهم شده و دستورالعمل‌های SFT (supervised fine-tuning) و RL (reinforcement learning) نیز برای کاربران آماده است.
ساختار معماری
بلوک توجه
این مدل ۵۲ لایه دارد و اندازه مخفی آن ۵۱۲۰ است. اکثر لایه‌ها از sliding-window attention با پنجره ۵۱۲ توکن استفاده می‌کنند. هر لایه ششم و آخرین لایه به تمام زمینه توجه می‌کنند. این ترکیب ۴۳ لایه sliding-window و ۹ لایه جهانی را تشکیل می‌دهد.
لایه‌های sliding-window از RoPE برای کدگذاری نسبی استفاده می‌کنند، در حالی که لایه‌های جهانی از کدگذاری موقعیتی استفاده نمی‌کنند و به جای آن از یک مقیاس‌کننده آهسته با فرمول (1 + (pos + 1) / 2048) ** 0.1 بهره می‌برند که به عنوان temperature عمل می‌کند.
- استفاده از grouped-query attention با ۴۸ کوئری و ۸ key-value head.
- نرمال‌سازی RMSNorm روی کوئری‌ها و کلیدها.
- یک gate سیگمویدی آموخته که از ورودی لایه محاسبه می‌شود و هر کانال هر هد را اسکیل می‌کند.
Mixture of Experts
سه لایه اول از بلوک MLP SwiGLU متراکم استفاده می‌کنند. ۴۹ لایه دیگر به جای آن از بلوک MoE با ۲۵۶ متخصص (expert) استفاده می‌کنند. هر متخصص یک MLP SwiGLU با اندازه میانی ۲۵۶۰ است و متخصص‌ها ۹۸٫۴ درصد پارامترهای مدل را در بر می‌گیرند.
روتر از الگوریتم group-limited الهام‌گرفته از DeepSeek-V3 استفاده می‌کند: همه ۲۵۶ متخصص امتیازدهی می‌شوند، به ۸ گروه از ۳۲ عضو تقسیم می‌شوند، ۴ گروه برتر نگه داشته می‌شوند و سپس ۸ متخصص برتر از آن گروه‌ها انتخاب می‌گردند. خروجی متخصص‌ها با وزن‌های نرمال‌شده روتر ترکیب و در نهایت ۲٫۵ اسکیل می‌شوند.
فقط ۸ متخصص هر توکن فعال می‌شوند، بنابراین هر توکن با حدود ۲۳ میلیارد پارامتر پردازش می‌شود، در حالی که تمام ۲۵۶ متخصص در حافظه نگه داشته می‌شوند.
اتصالات رزرو (Residual Stream)
اتصالات رزرو در مدل Beam بسیار منحصربه‌فرد هستند. در شبکه‌های استاندارد، هر زیرلایه خروجی را با وزن ۱ به جریان مخفی اضافه می‌کند و جریان با افزایش عمق رشد می‌کند.
در Beam، embedding ورودی به عنوان گام ۱ در نظر گرفته می‌شود. در گام k، خروجی زیرلایه با وزن ۱ / sqrt(k) اضافه می‌شود و جریان موجود با وزن sqrt((k-1)/k) حفظ می‌ماند. مربع وزن‌ها برابر با ۱ است، بنابراین جریان مخفی در تمام لایه‌ها مقیاس ثابت حفظ می‌شود. پس از تمام ۱۰۴ افزودگی، هر زیرلایه و embedding ورودی وزن یکسانی در مخفی پنهان نهایی دارند.
هر زیرلایه قبل و بعد از نرمال‌سازی قرار می‌گیرد و خروجی نهایی از نرمال‌سازی tanh در ±۳۰ عبور می‌کند که در FP32 محاسبه می‌شود.
مدیریت زمینه طولانی
با توجه هیبریدی، حافظه نهان مدل بهینه می‌شود. هر لایه ۲۰۴۸ مقدار KV ذخیره می‌کند، اما فقط ۹ لایه جهانی تمام توکن‌ها را نگه می‌دارند. ۴۳ لایه sliding-window فقط پنجره ۵۱۲ توکنی ثابت دارند. بنابراین رشد حافظه نهان فقط با سرعت ۳۶ کیلوبایت در هر توکن اتفاق می‌افتد.
| تعداد توکن | اگر همه لایه‌ها جهانی باشند | مدل Beam |
|---|---|---|
| ۳۲ هزار توکن | ۶٫۵ گیگابایت | ۱٫۲ گیگابایت |
| ۱۲۸ هزار توکن | ۲۶ گیگابایت | ۴٫۶ گیگابایت |
| تمام زمینه (۱ میلیون توکن) | ۲۰۸ گیگابایت | ۳۶٫۰۸ گیگابایت |
این اعداد برای یک توالی در فرمت BF16 با کش دینامیک Transformers محاسبه شده‌اند.
نتایج ارزیابی و بنچمارک
نتایج مدل Beam در سطوح دقت مختلف (BF16، FP8، NVFP4) در بنچمارک‌های مختلف نشان داده شده است. در موارد agentic coding و reasoning، دقت بهتری نسبت به مدل‌های پایه مشاهده می‌شود.
- در AIME 2026: دقت حدود ۹۷٫۷ درصد.
- در GPQA Diamond: دقت حدود ۹۰٫۶ درصد.
- در LiveCodeBench: دقت حدود ۸۸٫۳ درصد.
- در SWE Bench Pro v2-Hard: دقت تا ۷۸٫۶ درصد.
الزامات سخت‌افزاری و پشتیبانی استنتاج
بهترین حالت خدمت‌رسانی با چک‌پوینت NVFP4 است که کیفیت نزدیک به BF16 را حفظ می‌کند و حجم وزن‌ها را از حدود ۱ ترابایت به ۲۸۰ گیگابایت کاهش می‌دهد. این چک‌پوینت برای GPUهای Blackwell مناسب است. برای GPUهای قدیمی‌تر مانند H200، از FP8 استفاده کنید.
یک GPU B200 با ۱۸۰ گیگابایت حافظه می‌تواند وزن‌ها را نگه دارد. برای یک مثال عملی، از ۴ GPU B200 (۷۲۰ گیگابایت) یا گره کامل ۸xB200 استفاده کنید. مدل در کتابخانههای Transformers، vLLM و SGLang با دستورالعمل‌های آماده برای اجرای سریع در دسترس است.
همچنین در Inference Providers Hugging Face و Inference Endpoints به صورت یک‌کلیدی قابل استقرار است.
چگونه با Beam کار کنیم
مد
پرسش‌های متداول
مدل Beam چه ویژگی‌هایی دارد؟
مدل Beam یک LLM با 501B پارامتر (۲۳B فعال هر توکن) است که متن ورودی و خروجی را پشتیبانی می‌کند و پنجره زمینه یک میلیون توکن دارد.
چگونه میتوان مدل Beam را روی سختافزار خود اجرا کرد؟
با پشتیبانی روز اول در کتابخانههای transformers، vLLM و SGLang میتوان آن را روی GPUهای Blackwell یا Hopper اجرا کرد.
چگونه میتوان در پروژه‌های خود از Beam استفاده کرد؟
با ساخت دمو در Spaces، quantization یا ساخت محیط RL، شانس برنده شدن ۱۰٬۰۰۰ اعتبار Hub را دارید.
بهترین کاربردهای Beam چیست؟
تمرکز اصلی آن روی کد نویسی agentic و reasoning طولانی است و نتایج خوبی در بنچمارک‌هایی مانند AIME 2026 و SWE Bench نشان داده است.
منبع: Hugging Face
