بررسی‌های الاینآی نشان میدهد که مدلهای زبان بزرگ مانند GPT-5 و Claude Opus برای ارزیابی نوآوری ایدههای تحقیقاتی انسانی یا تولیدشده توسط هوش مصنوعی، بسیار ناپایدارند. تغییرات جزئی در پرامپت، دقت را بیش از ۵۰ درصد تغییر میدهد و نیاز به روش‌های ارزیابی قوی‌تری احساس میشود.
هدف و زمینه پژوهش
در ادامه تحقیقات الاینآی برای سیستم‌های پشتیبانی از کشف علمی، پروژه‌هایی مانند DataVoyager، AutoDiscovery و Theorizer ساخته شده‌اند. این سیستم‌ها به پژوهشگران کمک می‌کنند ایدههای جدید پیشنهاد دهند، اما بررسی نوآوری ایده‌ها همچنان به عنوان یک چالش مهم باقی مانده است.
داوری نوآوری اغلب توسط مدلهای زبان بزرگ انجام میشود. این داوریها میتوانند بر اساس مدل، پرامپت، فرمت ارزیابی و سیستم بازیابی متون تغییر کنند. با این حال، اکثر این داوریها فقط روی مقالات انسانی آزمایش شده‌اند، نه ایدههای تولیدشده توسط هوش مصنوعی که امروزه بیشتر مورد استفاده قرار می‌گیرند.
ساخت بنچمارک برای داوری نوآوری
برای ساخت بنچمارک، الاینآی از بررسی‌های ناشران ICLR ۲۰۲۶ استفاده کرد. بررسی‌ها به جای پذیرش مقاله به عنوان نشانه نوآوری، مستقیماً از بخش‌های مربوط به originality استخراج شدند.
دو مجموعه داده اصلی ایجاد شد:
- مجموعه Human-Only: ۱۵۴ ایده انسانی از مقالات پذیرفته‌شده در ۱۰ درصد برتر هر حوزه با تأیید صریح بررسی‌کننده‌ها در مورد نوآوری، و ۱۴۵ ایده از مقالات ردشده با نگرانی بررسی‌کننده‌ها در مورد originality.
- مجموعه Human+Generated: ۱۵۴ ایده انسانی مشابه به همراه ۱۵۴ ایده تولیدشده توسط یک مدل زبان ساده. مدل تولیدکننده فقط حوزه تحقیق و دستورالعمل پیشنهاد ایده جدید دریافت کرد.
در بررسی‌های اضافی، یک متخصص ۳۰ جفت ایده را بررسی کرد و همیشه ایده انسانی را برتر دانست. این فرآیند نشان میدهد که الگوهای نوشتاری باعث نمی‌شود داوریها نادرست باشند.
نتایج آزمایش مدل‌ها
شش مدل زبان بزرگ شامل GPT-5.1، GPT-5.2، GPT-5.4، Claude Sonnet 4.5، Claude Opus 4.5 و Claude Opus 4.6 بررسی شدند. تغییرات در پرامپت، بودجه استدلال، امکان بازیابی متون و فرمت ایده‌ها تأثیر زیادی داشت.
تغییرات جزئی در پرامپت می‌تواند دقت را بیش از ۵۰ درصد تغییر دهد. مثلاً در یک آزمایش، پرامپت ساده‌تر دقت GPT-5.4 را از ۹۳.۵ درصد به ۴۰.۹ درصد رساند. برای ایدههای انسانی این تغییر کمتر بود، اما همچنان قابل توجه.
نمودار مقایسه نشان میدهد که مدل‌ها چقدر به ایده انسانی مورد ستایش بررسی‌کننده‌ها در دو پرامپت متفاوت وفادار بودند.
جستجوی بیشتر متون و بودجه استدلال بیشتر همیشه مفید نبود. دستیار جستجوی arXiv با بودجه بالا هنوز ضعیفتر از پایه ساده Claude Opus 4.6 عمل کرد. سیستم‌های ارزیابی تخصصی مانند Idea Novelty Checker و AI Scientist نیز از baseline ساده Claude Opus 4.6 عملکرد ضعیف‌تری داشتند، هرچند هزینه بیشتری داشتند.
نتیجه‌گیری و پیشنهادها
ارزیابی نوآوری توسط مدلهای زبان بزرگ همچنان مشکل باز و ناپایداری دارد. داوری‌های خوب روی ایدههای انسانی ممکن است روی ایدههای تولیدشده هوش مصنوعی عملکرد متفاوتی نشان دهند. پرامپت‌های کارآمد برای یک مدل لزوماً برای دیگری مناسب نیستند.
جستجوی آینده باید روی ایده‌هایی متمرکز شود که در عمل ارزیابی میشوند. ساخت بنچمارک‌ها و داده‌های قابل استفاده، راهکاری برای پیشرفت است. این پژوهش ابزارهای اولیه‌ای ارائه میدهد تا پژوهشگران بتوانند سیستم‌های ارزیابی قوی‌تری برای کشف علمی بسازند.
پرسش‌های متداول
آیا مدلهای زبان بزرگ میتوانند نوآوری ایدههای تحقیقاتی را به طور قابل اعتماد داوری کنند؟
بر اساس نتایج بنچمارک الاینآی، خیر؛ کوچکترین تغییرات پرامپت دقت را به شدت تغییر میدهد و این کار به ویژه برای ایدههای تولیدشده توسط هوش مصنوعی بسیار ناپایدار است.
چرا بنچمارک نوآوری بر روی ایدههای انسانی ساخته شد؟
چون اکثر داوریها بر روی مقالات انسانی انجام میشود، اما ایدههای تحقیقاتی واقعی اغلب توسط هوش مصنوعی تولید میشوند و این بنچمارک امکان مقایسه مستقیم را فراهم میکند.
آیا جستجوی بیشتر یا بودجه استدلال بیشتر داوری را بهبود میبخشد؟
نه؛ در آزمایشها، دستیار جستجو با بودجه بالا هنوز ۱۱ درصد ضعیفتر از پایه ساده Claude Opus 4.6 عمل کرد.
نتیجه‌گیری اصلی پژوهش چیست؟
ارزیابی نوآوری نیازمند معیارهای بیشتری است؛ بنچمارک و داده منتشرشده برای ساخت سیستم‌های ارزیابی بهتر در آینده استفاده میشود.
منبع: Hugging Face
