FairStress: سنجش عمیق‌تر انصاف در تصمیم‌گیری مدل‌های زبانی

تیم Ai2 بنچمارکی تازه به نام FairStress معرفی کرده است که انصاف جمعیتی مدل‌های زبانی را فراتر از انتخاب نهایی آن‌ها در تصمیم‌های اثرگذار بر مردم می‌سنجد. این بنچمارک برای دانلود در دسترس است و هم‌زمان در Olmo-eval، کارگاه آزاد این تیم برای اجرا و مقایسهٔ ارزیابی مدل‌ها، ادغام می‌شود. هدف، آشکارکردن نامتقارنی‌هایی است که در ارزیابی‌های معمول پنهان می‌مانند.

چرا انتخاب نهایی معیار کافی نیست

مدل‌ها به‌طور فزاینده‌ای در موقعیت‌های پرریسکی به کار می‌روند که خروجی‌شان می‌تواند بر فرصت‌ها، منابع و درمان افراد اثر بگذارد؛ از غربال متقاضیان شغل و تأیید وام تا اولویت‌بندی بیماران برای درمان و ارزیابی دانش‌آموزان در پذیرش. بنچمارک‌های رایج انصاف جمعیتی معمولاً این را می‌سنجند که آیا مدل پس از جابه‌جایی هویت جمعیتی نامزدها، در سناریویی که در بقیهٔ موارد یکسان است، همان نامزد را انتخاب می‌کند یا نه.

اما رسیدن به یک پاسخ مشابه در دو نسخهٔ یک سناریو می‌تواند تفاوت‌های معناداری را پنهان کند: اینکه مدل چقدر راحت تصمیمش را تغییر می‌دهد. فرض کنید نامزد A آشکارا قوی‌تر است و مدل در هر دو حالت — سیاه‌پوست‌بودن یا سفیدپوست‌بودن A — همان A را برمی‌گزیند. در سطح خروجی این منصفانه به نظر می‌رسد، ولی اگر بعد استدلال متقاعدکننده‌ای مطرح شود — مثلاً اینکه مدیران ارشد نامزد B را ترجیح می‌دهند یا اینکه افراد گروه B در تاریخ نادیده گرفته شده‌اند — ممکن است مدل در یکی از دو نسخه بسیار راحت‌تر از نامزد قوی‌تر دست بکشد.

FairStress دقیقاً برای سنجش همین نامتقارنی‌های پنهان ساخته شده است. این استدلال‌ها را «پیشوندهای تقابلی» می‌نامند و هدف بنچمارک رسیدن به انصاف متقارن است: وقتی شواهد از یک تصمیم پشتیبانی می‌کند، مدل باید معیارهای یکسان به کار ببرد و فارغ از اینکه کدام گروه جمعیتی سود می‌برد، به یک اندازه در برابر تغییر آن تصمیم مقاومت کند. این تعریف از انصاف بر برابری استوار است؛ یعنی در شرایط برابر، افراد با هویت‌های مختلف باید احتمال انتخاب یکسانی داشته باشند، واجد شرایط‌بودن آشکار یک نامزد نباید با هویت او تغییر کند، و تصمیم‌های مستند باید به یک اندازه در برابر پیشوندهای تقابلی مقاوم باشند.

تیم Ai2 تصریح می‌کند که FairStress قرار نیست همهٔ برداشت‌ها از انصاف را پوشش دهد. برای نمونه، رویکردی مبتنی بر برابری واقعی (equity) ممکن است تبعیض تاریخی یا کم‌نمایندگی را در تصمیم‌گیری مرتبط بداند و حتی با ثابت‌بودن سایر عوامل، نامزد اقلیت را ترجیح دهد.

FairStress چطور ساخته شده است

این بنچمارک ۳۰۰ سناریوی واقع‌گرایانهٔ تصمیم‌گیری میان دو نامزد را در ۲۹ حوزه، از استخدام، سلامت، وام‌دهی، آموزش و مسکن تا عدالت کیفری، در بر می‌گیرد. یک سناریو از مدل می‌خواهد میان دو نامزد یک شغل مهندسی مکانیک یکی را برگزیند و سناریویی دیگر می‌پرسد کدام‌یک از دو بیمار باید آخرین واحد یک داروی کمیاب را دریافت کند.

بخشی از سناریوها نامزدی آشکارا قوی‌تر دارند که مشخصاتش بهتر با معیارهای اعلام‌شده سازگار است؛ این به آزمون آن کمک می‌کند که آیا اطلاعات جمعیتی بر نرخ انتخاب نامزد موردحمایت شواهد اثر می‌گذارد. سناریوهای دیگر عمداً مبهم‌اند و هر دو نامزد به شکل‌هایی متفاوت و سخت‌قابل‌مقایسه قوی‌اند، بنابراین انتخاب برتر عینی وجود ندارد.

FairStress همچنین میزان صراحت ارائهٔ هویت جمعیتی را تغییر می‌دهد:

پیشوندهای تقابلی نیز از منابع گوناگون اقناع استفاده می‌کنند: اقتدار، اجماع اجتماعی، شواهد ادعایی، نگرانی‌های حقوقی و محرومیت تاریخی. نمونه‌ای از این جملات این است که «یک مدیر ارشد پرونده‌ها را شخصاً بررسی کرده و نامزد B را برای این نقش توصیه کرده است». هر پیشوند نسخه‌ای متناظر دارد که همان نوع استدلال را به سود نامزد دیگر مطرح می‌کند، تا بتوان آزمود آیا یک استدلال واحد بسته به اینکه از کدام نامزد حمایت می‌کند اثر متفاوتی دارد یا نه.

ترکیب این تنوع‌ها در هویت جمعیتی و پیشوندها، ۳۰۰ سناریوی FairStress را به بیش از ۱۳ میلیون مورد آزمون گسترش می‌دهد. در کنار نسخهٔ کامل، FairStress-Core نیز ساخته شده است: زیرمجموعه‌ای ۵۰هزارموردی که با نظریهٔ پاسخ سؤال (item response theory) و بر پایهٔ رویکرد Fluid Benchmarking انتخاب شده تا ارزیابی سریع‌تر و کم‌هزینه‌تر شود و در عین حال بخش زیادی از توان نسخهٔ کامل در آشکارکردن تفاوت‌های رفتاری مدل‌ها را نگه دارد.

مدل‌ها پاسخ‌های درست را به یک اندازه حفظ نمی‌کنند

در آزمایش‌های FairStress، وقتی پرامپت هیچ اطلاعات جمعیتی نداشت تفاوت رفتاری مدل‌ها ناچیز بود؛ اگر یک نامزد آشکارا قوی‌تر بود، مدل‌ها در نسخه‌های دیگرگون اما هم‌ارز سناریو تقریباً با همان نرخ او را انتخاب می‌کردند و در موارد مبهم نیز انتخاب‌ها نزدیک به نصف‌نصف تقسیم می‌شد. اما هرچه هویت جمعیتی در پرامپت صریح‌تر شد، رفتار مدل‌ها نامتقارن‌تر شد.

مثلاً فرض کنید نامزد A بسیار واجد شرایط‌تر از نامزد B است. وقتی A کد اکثریت داشت — یعنی هویت معمولاً برخوردار در آن مقایسه، مانند سفیدپوست، مرد یا دگرجنس‌گرا — و B کد اقلیت داشت، پیشوندی که از B حمایت می‌کرد بیشتر احتمال داشت مدل را از نامزد قوی‌تر به نامزد ضعیف‌تر بکشاند. وقتی جای این دو عوض می‌شد و A کد اقلیت داشت، همان پیشوند به سود B کمتر باعث رهاکردن انتخاب درست A می‌شد.

تیم Ai2 این الگو را «تصحیح افراطی ضدکلیشه‌ای» می‌نامد: در این مقایسه‌ها، مدل‌ها وقتی کنار گذاشتن یک تصمیم درست به سود نامزد با کد اقلیت بود، راحت‌تر آن تصمیم را رها می‌کردند. نگرانی این است که هویت جمعیتی تغییر دهد مدل چقدر پیوسته از شواهد پیروی می‌کند، حتی وقتی یک نامزد آشکارا واجد شرایط‌تر است.

در نمونهٔ استخدامی، مدل تولو ۳.۱ ۸B (Tülu 3.1 8B) در هر دو نسخهٔ سناریو زن سیاه‌پوست ترنس را انتخاب کرد؛ اما وقتی رزومهٔ او ضعیف‌تر بود، توضیح مدل بر پتانسیل رشد و پیشینهٔ متنوع او تأکید کرد و به نبود گواهی‌نامه‌ها اشاره داشت، و وقتی رزومه‌اش قوی‌تر بود، بر تجربه و گواهی‌نامه تأکید کرد.

در ارزیابی ۱۵ مدل روی نسخهٔ کامل بنچمارک، میانگین شکاف در رهاکردن پاسخ‌های درست با هویت غیرمستقیم ۶.۹ واحد درصد و با برچسب‌های صریح ۹.۳ واحد درصد بود.

روی FairStress-Core، مدل‌های پیشرویی مانند کلود اوپوس ۵ (Claude Opus 5) و جی‌پی‌تی-۵.۵ (GPT-5.5) وقتی هیچ‌یک از دو نامزد عیناً قوی‌تر نبود، حدود ۶۰ تا ۶۵ درصد مواقع نامزد با کد اقلیت را انتخاب کردند. در شرایط پیشوندهای تقابلی متناظر و در ۱۲ اجرای مدل‌وحالت، تغییر جهت به سمت نامزدهای با کد اقلیت بین ۸.۸ تا ۴۲.۴ واحد درصد شایع‌تر از تغییر به سمت نامزدهای با کد اکثریت بود.

توضیح‌ها و الگوهای درونی هم متفاوت‌اند

تفاوت‌های ظریف‌تری در شیوهٔ توضیح تصمیم‌ها دیده شد، حتی وقتی مدل در هر دو نسخهٔ جمعیتی سناریو انتخاب درست را کرده بود. در ۱۱ مدل با وزن باز، توضیح‌های مربوط به انتخاب‌های با کد اقلیت با زبان تا حدی مطمئن‌تر و مثبت‌تری نوشته شده بود. با برچسب صریح هویت، این توضیح‌ها واژه‌هایی مانند «تاب‌آوری»، «تنوع» و «موانع» را با بسامد بالاتری در خود داشتند. در مقابل، توضیح انتخاب‌های با کد اکثریت شامل اصطلاحات رویه‌ای‌تری مثل «شواهد»، «معیارها» و «با جزئیات» بود.

نرخ انتخاب بالاتر برای نامزدهای اقلیت لزوماً به معنای رفتار منصفانه‌تر نیست؛ وقتی مدل در توضیح یک انتخاب مستند، هویت یا تنوع را در صدر می‌نشاند، خطر آن هست که دستاوردها و صلاحیت‌هایی که آن انتخاب را توجیه می‌کنند کم‌اهمیت جلوه کنند. بنابراین مدل می‌تواند در انتخابش نامزد اقلیت را ترجیح دهد اما در توضیحش صلاحیت‌های او را کمتر به رسمیت بشناسد. ([چرا دستیار هوش مصنوعی شما گاهی موفق می‌شود و گاهی نه؟](/blog/ai-agent-consistency-gap-passk) به همین ناپایداری رفتار می‌پردازد.)

در تحلیلی کنترل‌شده روی جما ۳-۱۲B (Gemma-3-12B-it) و کوئن ۲.۵-۷B-اینستراکت (Qwen2.5-7B-Instruct)، فعال‌سازی‌های درونی مدل — یعنی فعالیت عددی درون مدل — با دقت حدود ۷۳ درصد پیش‌بینی کرد که مدل کدام سمت جمعیتی را انتخاب می‌کند. توصیف متنی همان فعال‌سازی‌ها به دقت ۵۷ تا ۵۹ درصد رسید، در برابر خط پایهٔ ۵۰ درصدی. در آزمونی پیگیری، حذف نام نامزدها دقت مبتنی بر فعال‌سازی را حدود ۱۸ واحد درصد کاهش داد.

این تحلیل فعال‌سازی فقط دو مدل و شماری محدود از تقابل‌های جمعیتی را پوشش می‌دهد، بنابراین خود تیم آن را محدودتر از نتایج رفتاری گسترده می‌داند. با این حال، یافته‌ها نشان می‌دهند که رد استدلال مدل ممکن است همهٔ آنچه را در درونش بازنمایی می‌شود آشکار نکند؛ امری هم‌سو با پژوهش‌های پیشین تفسیرپذیری که نشان داده‌اند زنجیرهٔ تفکر می‌تواند برخی عوامل اثرگذار بر پیش‌بینی مدل را نادیده بگذارد.

چرا نتیجه با بنچمارک‌های موجود فرق می‌کند

تیم Ai2 می‌خواست بداند FairStress در مقایسه با سنجه‌های موجود سوگیری جمعیتی چه تصویری می‌دهد. برای این کار نتایج را با BBQ، بنچمارکی پرکاربرد که می‌سنجد مدل در سناریوهای مرتبط با گروه‌های اجتماعی پاسخ‌های سازگار با کلیشه را ترجیح می‌دهد یا نه، مقایسه کردند؛ مثلاً این پرسش که کدام‌یک از دو خانواده در آموزش فرزندانشان کوتاهی می‌کند، وقتی یکی از آن‌ها «تحت حمایت رفاه» و دیگری «متمول» توصیف شده است.

در ارزیابی BBQ مدل‌ها عموماً به پاسخ‌های سازگار با کلیشه متمایل بودند، در حالی که FairStress تمایل به ترجیح نامزدهای با کد اقلیت را آشکار کرد. برای فهم این تفاوت، شیوهٔ پرسیدن سؤال و نمره‌دادن پاسخ‌ها بررسی شد. در چیدمان استاندارد BBQ که آزموده شد، احتمال گزینه‌های پاسخ ثابت نمره‌دهی می‌شود، بدون آنکه مدل پاسخی تولید کند؛ این با استفادهٔ معمول از چت، که کاربر پرسش می‌کند و پاسخ تولیدشده می‌گیرد، متفاوت است. FairStress از مدل می‌خواهد خودش پاسخ را بسازد و میان نامزدها انتخاب کند.

برای آزمودن اینکه چیدمان ارزیابی توضیح تفاوت است یا نه، همان پرسش‌ها و همان وزن‌های مدل BBQ در پنج پیکربندی مختلف بررسی شد که قالب چت، عبارت‌بندی پرسش و استفاده از نمره‌دهی احتمال گزینه‌های ثابت یا تولید پاسخ را تغییر می‌داد. در این مقایسهٔ کنترل‌شده، کوئن ۲.۵-۷B-اینستراکت، جما ۳-۲۷B (Gemma-3-27B-it) و لاما ۳.۱-۷۰B (Llama-3.1-70B-Instruct) از رفتار سازگار با کلیشه به رفتار متمایل به اقلیت چرخیدند، در حالی که لاما ۳.۱-۸B (Llama-3.1-8B-Instruct) به حالتی تقریباً بی‌طرف رسید. این نتیجه نشان می‌دهد جهت سوگیری اندازه‌گیری‌شده تا حدی به این بستگی دارد که بنچمارک چگونه سؤال می‌پرسد و پاسخ را نمره می‌دهد؛ تکیه بر نمره‌های گزینه‌های ثابت می‌تواند تصحیح افراطی در تصمیم‌های تولیدشده را از دست بدهد.

([گزارش ایمنی و امنیت Gemini 4 Argon](/blog/gemini-4-argon-safety-security-report) نمونه‌ای دیگر از این است که چطور می‌توان ایمنی و رفتار مدل را با معیارهای ساخت‌یافته سنجید.)

ردپای عدم‌تقارن در داده‌های اولمو ۳ و راه‌های موجود

برای یافتن سرنخ‌های احتمالی این عدم‌تقارن، تیم داده‌های خط لولهٔ آموزش اولمو ۳ (Olmo 3) را بررسی کرد. پیکرهٔ تنظیم دقیق تحت نظارت آن حدود ۹۹٬۰۰۰ نمونه از دو مجموعه‌دادهٔ آموزش رد (refusal) را شامل می‌شود. در میان ۲۸٬۰۰۰ خوشهٔ موضوعی در داده‌های تنظیم دقیق و آموزش ترجیح، تنها نُه خوشه به تصمیم‌گیری بر پایهٔ شایستگی و نه جمعیت‌شناسی می‌پرداختند — و هر نُه مورد هم از جنس ردکردن بودند. این بررسی همچنین بازنمایی نابرابر گروه‌های جمعیتی را نشان داد: گروه‌های با کد اقلیت قالب‌بندی حمایتگرانه یا مثبت بیشتری دریافت کرده بودند، در حالی که افراد سفیدپوست و سیس‌جندر قالب‌بندی حمایتگرانهٔ اندک و قالب‌بندی منفی پیوسته داشتند.

به گفتهٔ تیم، این یافته‌ها شکافی را نشان می‌دهند میان آموزش ردکردن درخواست‌های تبعیض‌آمیز و آموزش تصمیم‌گیری بر پایهٔ شایستگی؛ و اینکه آیا این الگوها علت شکاف‌های رفتاری‌اند یا نه، پرسشی باز باقی می‌ماند.

FairStress همچنین می‌تواند برای سنجش اینکه روش‌های رفع سوگیری واقعاً رفتار منصفانه‌تر و مقاوم‌تری تولید می‌کنند به کار برود. تیم نُه مداخله را آزمود، از جمله خودنقدی (که در آن مدل پاسخ خود را بازبینی و اصلاح می‌کند)، هدایت فعال‌سازی (activation steering) که بازنمایی‌های درونی مدل را هنگام تولید تغییر می‌دهد، و ویرایش‌های یادگرفته‌شده که تغییرات کوچک و هدفمند در بازنمایی‌های درونی‌اند. بیشتر روش‌ها عدم‌تقارن را به‌شکل قابل‌اتکا کاهش ندادند و برخی انتخاب‌های متوازن‌تر را با هزینهٔ سنگین دقت به دست آوردند؛ برای نمونه، یکی از روش‌های هدایت فعال‌سازی دقت کوئن ۲.۵-۷B-اینستراکت را در تصمیم‌های روشن از ۹۸ درصد به ۴۷ درصد رساند.

تنها یک رویکرد به مقاومت متقارن نزدیک‌تر شد: زنجیرهٔ تفکر خلاف‌واقعی، که از مدل می‌خواهد پرونده را با جابه‌جاشدن هویت جمعیتی نامزدها بازبینی کند. این روش در سه خانوادهٔ مدل آزموده‌شده شکاف موجود در رهاکردن تصمیم‌های درست را کم کرد و تا حد زیادی دقت را حفظ نمود، اما همهٔ عدم‌تقارن‌ها را از میان نبرد؛ در موارد مبهم، مدل‌ها همچنان نامزدهای با کد اقلیت را ترجیح می‌دادند.

جمع‌بندی تیم این است که انصاف جمعیتی یک مدل را نمی‌توان صرفاً از روی رسیدن به انتخاب نهایی یکسان در سناریوهای هم‌ارزی که فقط در هویت جمعیتی تفاوت دارند قضاوت کرد. یک مدل می‌تواند در دو نسخهٔ یک سناریو نامزد موردحمایت شواهد را برگزیند، اما در یک نسخه راحت‌تر منحرف شود، انتخابش را متفاوت توضیح دهد یا الگوهای فعال‌سازی درونی متفاوتی نشان دهد. بر پایهٔ تعریف برابر‌محور FairStress، رفتار منصفانه یعنی به‌کارگیری معیارهای یکسان و دفاع پیوسته از یک تصمیم مستند، فارغ از اینکه کدام گروه جمعیتی از آن سود می‌برد.

پرسش‌های متداول

منبع: Hugging Face