CWE-bench v2 مجموعهمعیار تازه‌ای است که مرزهای توانایی‌های امنیت سایبری در مدلهای پیشرفته را میسنجد. این مجموعه با ۱۰۰ وظیفه عمومی، امکان ارزیابی عینی و تکرارپذیر مدل‌ها در شناسایی و رفع آسیب‌پذیری‌های واقعی را فراهم می‌کند.
معرفی CWE-bench v2
CWE-bench v2 توسط کالینیر ای‌آی (Collinear AI) توسعه یافته است. هدف آن فراهم آوردن مجموعه‌ای شفاف و عمومی برای آزمایش مدل‌ها در حوزه امنیت سایبری است. در این چارچوب، یک عامل (agent) یک کپی از یک مخزن واقعی نرم‌افزار متن‌باز را دریافت می‌کند و یک دستورالعمل کوتاه به آن داده می‌شود. مأموریت عامل این است که یک ضعف امنیتی را بیابد و آن را برطرف کند، بدون آنکه عملکرد موجود کد را مختل نماید.
نمره‌دهی بهصورت کاملاً برنامهای و خودکار انجام می‌شود. این امر نتایج را قطعی و قابل تکرار می‌سازد و هر کسی می‌تواند آن‌ها را بدون هزینه اضافی بازتولید کند. تمام بررسی‌های برنامهای با کمک پنل‌های داوری متشکل از مدلهای زبانی بزرگ (LLM) طراحی شده‌اند تا هم سخت‌گیری و هم انصاف را تضمین کنند.
علاوه بر مجموعه عمومی، یک مجموعه نگه‌داشته‌شده (held-out set) نیز وجود دارد که برای ردیابی پیشرفت مدل‌ها روی وظایفی که هیچ مدلی تاکنون ندیده است، استفاده می‌شود.
پوشش گسترده و کیفیت بالا
این مجموعه ۱۰۰ وظیفه‌ای، ۹۱ نقطه ضعف رایج نرم‌افزاری (Common Weakness Enumeration یا CWE) مختلف را پوشش می‌دهد. این طیف وسیعی از کلاس‌های آسیب‌پذیری را شامل می‌شود. یک مدل برای عملکرد خوب در این مجموعه باید سطوح چندگانه ضعف را که یک مهاجم بالقوه می‌تواند از آن‌ها سوءاستفاده کند، درک کند. تنها تشخیص یک الگوی آشنا کافی نیست.
تلاش دقیقی برای تضمین کیفیت هر وظیفه صورت گرفته است. برای هرکدام، سؤالات زیر بررسی شده‌اند:
- آیا دستورالعمل مانند یک دستورالعمل واقعی به نظر می‌رسد و نه یک تنظیم ارزیابی مصنوعی؟
- آیا میتوان تمام رفتارهای قابل نمره‌دهی را از دستورالعمل استنباط کرد؟
- آیا بازبینی‌کننده (verifier) رفتار صحیح را بررسی می‌کند و نه ساختار خاص یک راه‌حل؟
- آیا کد اولیه شکست می‌خورد و اصلاحیه مرجع موفق می‌شود؟
- آیا عملکرد اصلی با اصلاح جدید همچنان کار می‌کند؟
- آیا بازبینی‌کننده‌ها راه‌حل‌های حفظ‌شده مانند وصله شناخته‌شده اصلی را رد می‌کنند؟
هر وظیفه همچنین بهصورت دستی بازبینی شده است. متن‌باز کردن این مجموعه بخشی از همین تلاش برای بهبود کیفیت است و بازخورد درباره هر وظیفه و مشارکت در مجموعه عمومی پذیرفته می‌شود.
نتایج و رهبری مدل‌ها
نتایج در دو مکان روی Hugging Face ردیابی می‌شوند. صفحه رهبران (leaderboard) در صفحه مجموعهداده CWE-bench، مدلهای با وزن باز (open-weight) را پوشش می‌دهد و بهصورت خودکار به‌روز می‌شود. برای مقایسه کامل، شامل مدلهای مبتنی بر API مانند جمینای (Gemini)، کلود (Claude) و جی‌پی‌تی (GPT)، باید به فضای رهبران CWE-bench مراجعه کرد.
از بین ۱۱ مدل ارزیابی‌شده، Gemini 4 Argon گوگل با نمره pass@1 معادل ۶۷.۸٪ و pass@4 معادل ۸۱.۰٪ پیشتاز است. پس از آن Claude Opus 5.5 با ۶۷.۳٪ در pass@1 و ۷۸.۰٪ در pass@4 قرار دارد. ۹۵ وظیفه توسط حداقل یک مدل حل شده‌اند که نشان می‌دهد وظایف واقعاً قابل حل هستند. با این حال، حتی مدل پیشرو نیز در ۱۹٪ موارد در هر تلاش شکست می‌خورد، که نشان‌دهنده چالش‌های باقی‌مانده در حل مشکلات دشوار است.
از نظر هزینه، DeepSeek V4.1 Flash، Claude Opus 5.5 و Gemini 4 Argon مرز کارایی (Pareto frontier) را تشکیل می‌دهند. DeepSeek به نمره pass@1 معادل ۵۷.۰٪ با هزینه ۰.۰۴ دلار برای هر اجرا می‌رسد. Opus حدود ده امتیاز به این نمره اضافه می‌کند اما هزینه آن به ۱.۸۳ دلار افزایش می‌یابد. Gemini نیز با هزینه ۳.۹۲ دلار برای هر اجرا، عملکرد کمی بهتر از Opus ارائه می‌دهد.
نحوه اجرای بنچمارک
هر وظیفه در CWE-bench v2 یک محیط Harbor مستقل است (شامل یک محیط داکریزه، یک دستورالعمل و یک بازبینی‌کننده قطعی). مجموعهداده شامل یک فایل registry.json است. بنابراین، ابزار Harbor می‌تواند کل بنچمارک را مستقیماً از مخزن Hugging Face اجرا کند، بدون آنکه نیاز به کلون کردن چیزی باشد.
دستور زیر نمونه‌ای از اجرای بنچمارک است:
harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 --agent <agent> --model <model> --env docker --allow-agent-host <model API host>
پارامتر -k 4 به معنای اجرای ۴ تلاش برای هر وظیفه است و نمره گزارش‌شده، میانگین پاداش بر روی تمام ۴۰۰ آزمایش است. دسترسی به این مجموعهداده مشروط است و ابتدا باید شرایط دسترسی در صفحه آن پذیرفته شود. همچنین، وظایف برچسب rl-environment دارند: همین محیط‌ها و بازبینی‌کننده‌ها می‌توانند پاداش‌هایی برای آموزش عامل‌های دفاعی فراهم کنند، نه فقط برای ارزیابی آن‌ها.
پرسش‌های متداول
CWE-bench v2 چیست؟
یک مجموعهمعیار عمومی شامل ۱۰۰ وظیفه است که توانایی مدلهای هوش مصنوعی را در شناسایی و رفع نقاط ضعف امنیتی (CWE) در کدهای واقعی میسنجد.
کدام مدل در CWE-bench v2 بهترین عملکرد را داشت؟
Gemini 4 Argon گوگل با نمره pass@1 معادل ۶۷.۸٪ و Claude Opus 5.5 با ۶۷.۳٪ در رده‌های اول قرار گرفتند.
چگونه میتوان مدل خود را روی CWE-bench v2 اجرا کرد؟
با استفاده از ابزار Harbor و دسترسی به مخزن مجموعهداده در Hugging Face، میتوان کل بنچمارک را بهصورت خودکار و برنامهای اجرا و ارزیابی کرد.
منبع: Hugging Face
