Cosmos3-H-Dreams یک شبیهساز مولد و تعاملی جراحی از انویدیا است که در زمان واقعی، صحنههای درونبدنی را میسازد و به کنترل سینماتیک زنده پاسخ میدهد. این مدل بر پایه Cosmos 3 ساخته شده و با شتابدهی FlashDreams روی یک GPU واحد NVIDIA RTX PRO 6000 اجرا میشود.
از سکوی آزمایشگاهی به صحنهٔ بالینی
نسخهٔ نخست Cosmos-H-Dreams روی Cosmos-Predict2.5 بنا شده بود و شبیهسازی مولد تعاملی را برای بخیهزدن روی میز با سامانه dVRK به کار میبرد؛ محیطی ساده که نقطهٔ شروعی برای رباتیک جراحی به شمار میرفت. آن مدل بهعنوان یک مدل بنیادین جهان (WFM) جایگزینی برای شبیهسازی عددی ارائه میکرد: بهجای مدلسازی صریح هندسهٔ صحنه، تغییرشکل بافت و برهمکنشهای فیزیکی، دینامیک بصری را مستقیم از ویدیوی همزمان با سینماتیک ربات یاد میگرفت.
Cosmos3-H-Dreams همین توانایی را با یادگیری از ویدیو و سینماتیک رباتی که در جریان عملهای بالینی روی سامانه CMR Surgical Versius ضبط شده، پیش میبرد. به دانش انویدیا، این نخستین شبیهساز مولد جراحی بلادرنگ است که بر ضبطهای بالینی کولهسیستکتومی (برداشتن کیسه صفرا) آموزش دیده و از کنترل سینماتیک زنده پشتیبانی میکند.
چرا صحنهٔ درون بدن سختتر است؟
در محیط کنترلشدهٔ روی میز، ابزارها در برابر پسزمینهای نسبتاً ساده کار میکنند. اما داخل بدن، حرکت کوچک یک ابزار میتواند کل صحنه را تغییر دهد: بافت زیر کشش کشیده میشود، بازتابها جابهجا میشوند، ساختارها پنهان میشوند و دود دید را کم میکند. شبیهساز مولد باید این پاسخها را هنگام ساختن هر بلوک تازه از ویدیو بازتولید کند و در همان حال آناتومی و ابزارها را حفظ کند.
خطاهای کوچک در طول زمان انباشته میشوند و میتوانند بهتدریج هندسهٔ ابزار یا ساختار آناتومیک را دگرگون کنند؛ به همین دلیل سازگاری زمانی حیاتی است. واقعگرایی بصری فقط نقطهٔ شروع اعتبارسنجی است، نه اثبات دقت زیستِمکانیکی. صحنهٔ تولیدشده باید از فرمانها هم پیروی کند: دستورهای جابهجایی، چرخش و گریپر باید پیامدهای آناتومیک منسجم بسازند. یک اجرای ظاهراً باورپذیر که این فرمانها را نادیده بگیرد، نمیتواند بهعنوان محیط تعاملی به کار بیاید. حفظ این وفاداری و پاسخدهی در یک حلقهٔ کنترل زنده به تولید با تأخیر پایین نیاز دارد.
تازگیهای Cosmos3-H-Dreams
پایهٔ Cosmos 3 و کنترلهای جراحی غنیتر
Cosmos3-H-Dreams روی Cosmos3-H-Embodied-Nano ساخته شده است؛ مدلی با ۱۶ میلیارد پارامتر که پیشتر روی Open-H-Embodiment پیشآموزش دیده بود. سپس یک معلم دوجهته روی ویدیو و سینماتیک گزینششدهٔ کولهسیستکتومی تخصصیسازی میشود. انتخاب نمونهها دو ابزار دیدهشدنی و درگیر را هدف میگیرد: گرسپر کادیر (Cadiere grasper) در سمت چپ و هوک مونوپلار (monopolar hook) در سمت راست؛ همچنین فرمانهای دوربین محدود میشوند تا تعامل مبتنی بر ابزار برجسته بماند.
مدل از ۲۸ بُعد عمل استفاده میکند: پوز و اطلاعات گریپر برای هر دو بازو، بههمراه کنترلهای انرژی، محورهای ثامباستیک و دکمههای آن. آموزش با ویدیوی ۸۳۲ در ۴۸۰ پیکسل و عملهای همترازشده با نرخ ۱۰ هرتز انجام میشود؛ این نرخ نمونهبرداری با توان تولید در زمان اجرا یکی نیست.
از معلم تا دانشآموز چهارمرحلهای و دومرحلهای
این سامانه یک خط لولهٔ آموزش معلمبهشاگرد را با استنتاج جریانی شتابگرفته از طریق FlashDreams ترکیب میکند. ابتدا معلم دوجهته روی ۲۴ فریم آینده تنظیم میشود، سپس افق به ۷۲ فریم گسترش مییابد که با نرخ ۱۰ هرتز معادل ۲.۴ و ۷.۲ ثانیه است. این کار به معلم توالیهای بلندتری میدهد تا دینامیک جراحی را بیاموزد.
در گام بعد، تقطیر، معلم دوجهته را به دانشآموزی علّی تبدیل میکند که ویدیو را با رسیدن عملهای تازه، در بلوکهای کوتاه میسازد. «وادارسازی علّی معلم» دانشآموز را برای تولید ترتیبی با استفاده از بافت ضبطشده آماده میکند و سپس Self-Forcing آن را روی بافت تولیدشدهٔ خودش، با هدایت معلم و یک ناقد آموختهشده، آموزش میدهد تا مشکل انباشت خطا در اجراهای تعاملی کم شود.
نخستین دانشآموز منتشرشده در هر بلوک تولیدشده چهار مرحله نویززدایی انجام میدهد. بعد همان دانشآموز با یک برنامهٔ دومرحلهای بیشتر آموزش میبیند تا چکپوینت دوم ساخته شود. مدل دومرحلهای جداگانه آموزش دیده است و صرفاً اجرای مدل چهارمرحلهای با گامهای نمونهبرداری کمتر نیست. مرحلههای کمتر نویززدایی، استنتاج سریعتری به بهای کیفیت بصری پایینتر میدهد و هر دو چکپوینت به توسعهدهندگان اجازه میدهند توازن میان کیفیت تصویر و هزینهٔ استنتاج را بررسی کنند.
پخش جریانی با FlashDreams
FlashDreams زمان اجرای جریانی شتابگرفته را فراهم میکند. اجراهای طولانی همچنین به مدیریت تاریخچهٔ توجه مدل نیاز دارند؛ یکپارچهسازی Cosmos3-H-Dreams از ماژول تطبیقیافتهٔ FadeMem استفاده میکند که حافظهٔ کلید/مقدار روبهرشد را در جریان اجراهای بلند یکپارچه میسازد. FadeMem مکمل Self-Forcing است: تقطیر به این میپردازد که مدل چگونه از تاریخچهٔ تولیدشدهٔ خود یاد بگیرد و یکپارچهسازی حافظهٔ نهان به این که آن تاریخچه هنگام تولید جریانی چگونه ذخیره شود. علاقهمندان به مدلهای اِمبادید رباتیک میتوانند گزارشهای Gemini Robotics ER 2 و Gemini Robotics 2 را هم ببینند.
اجرای مسیرهای دیدهنشده
در جریان یک عمل بالینی ممکن است عوارضی پیش بیاید یا جراح حرکاتی «تازه» انجام دهد. بنابراین شبیهساز باید بتواند فراتر از دادهٔ آموزش تعمیم پیدا کند و برای حرکات دیدهنشده، فریمهای منسجم بسازد. نمونههای نمایشی Cosmos3-H-Dreams صحنههای مختلف کولهسیستکتومی را با شرطگذاری روی حرکات ابزاری نشان میدهند که با هدست واقعیت مجازی ضبط شدهاند.
دو ویدیو با یک فریم آغازین یکسان شروع میشوند اما دنبالهٔ عملهای متفاوتی را طی میکنند؛ این نشان میدهد فرمان ابزار چگونه به ادامههای متمایز همان صحنه، با تغییرشکلهای فیزیکی دقیق بافت، منتهی میشود. این اجراها به بررسی این پرسشها کمک میکنند که آیا ابزارها از کنترلها پیروی میکنند، آیا بافت بهصورت منسجم پاسخ میدهد و آیا ظاهر آناتومی و ابزار در طول زمان ثابت میماند.
انطباق با داده و کنترلر خودتان
Cosmos3-H-Dreams دو چکپوینت چهارمرحلهای و دومرحلهای برای کولهسیستکتومی دارد و میتوان آن را با ویدیوی همزمان و بازنماییهای عمل سازگار، به مجموعهدادهها و اِمبادیمنتهای دیگر هم منطبق کرد. برای آموزش یک مدل دانشآموز بلادرنگ روی داده خودتان، دستور کامل تنظیم دقیق معلم و تقطیر Self-Forcing در راهنمای گامبهگام ارائه شده است که آمادهسازی داده، ابزارهای عمومی آموزش معلم و مراحل تقطیر را توضیح میدهد. یکپارچهسازی کنترلرها هم باید از همان قراردادهای عمل و نرمالسازی بهکاررفته در آموزش استفاده کند.
گامهای بعدی
پیشرفت در واقعگرایی بصری چند مسیر پژوهشی را باز کرده است:
- مدلسازی کل فرآیند: گسترش پوشش و سازگاری زمانی تا همهٔ مراحل کولهسیستکتومی با مرزهای روشن و معیارهای موفقیت بررسی شوند.
- پیوند شبیهسازی مولد و عددی: ترکیب واقعگرایی بصری آموختهشده با هندسهٔ صریح، تماس و مکانیک بافت، و استفاده از مدلهای عددی و دادههای اندازهگیریشده برای محدودکردن و اعتبارسنجی تغییرشکل.
- ارزیابی با جراحان: سنجش دقت آناتومیک، رفتار ابزار و پاسخ بافت و تبدیل بازخورد متخصصان به معیارهای تکرارپذیر.
- پشتیبانی از ابزارهای بیشتر: رفتن فراتر از دو ابزار کنترلشده بهسوی هماهنگی، پوشانندگی و برهمکنش غنیتر.
- توسعهٔ سیاستهای جراحی خودکار: جفتکردن مدلهای عمل جهان با Cosmos3-H-Dreams در حلقهای بسته تا سیاستها زیرکارهای مشخص کولهسیستکتومی را بیاموزند.
اینها جهتهای پژوهشیاند، نه تواناییهای بالینی تثبیتشده. Cosmos3-H-Dreams یک شبیهساز پژوهشی است و سامانهای تأییدشده برای مراقبت از بیمار به شمار نمیرود؛ بلکه بستری برای مطالعهٔ تعامل جراحی در محیطی واقعگرایانهتر فراهم میکند.
از کجا شروع کنیم؟
مدلها، داده و زمان اجرای پشت Cosmos3-H-Dreams در دسترس است:
- کد و نمونههای Cosmos3-H-Dreams در مخزن GitHub
- چکپوینت مدل Cosmos3-H-Dreams در Hugging Face
- مدل Cosmos3-H-Embodied-Nano در Hugging Face و مخزن GitHub
- دستور گامبهگام تنظیم دقیق معلم و تقطیر Self-Forcing برای انطباق با داده خودتان
- مجموعهداده Open-H-Embodiment در Hugging Face
- FlashDreams در GitHub
- NVIDIA Cosmos 3 در GitHub
انویدیا از پژوهشگران دعوت کرده کنترلرها، مسیرهای حرکتی و پرسشهای پژوهشی خود را به این محیطهای شبیهسازیشدهٔ جراحی بیاورند.
پرسشهای متداول
Cosmos3-H-Dreams چیست؟
یک شبیهساز مولد تعاملی برای جراحی بالینی است که بر پایه Cosmos 3 ساخته شده و با کنترل سینماتیک زنده کار میکند. به گفته انویدیا، این نخستین شبیهساز مولد جراحی بلادرنگ است که بر ضبطهای بالینی کولهسیستکتومی آموزش دیده است.
Cosmos3-H-Dreams روی چه سختافزاری اجرا میشود؟
این مدل با شتابدهی FlashDreams، کتابخانه استنتاج جریانی انویدیا، بهصورت تعاملی روی یک GPU واحد NVIDIA RTX PRO 6000 اجرا میشود.
تفاوت چکپوینت چهارمرحلهای و دومرحلهای چیست؟
دانشآموز نخست با چهار مرحله نویززدایی در هر بلوک ساخته شده و چکپوینت دوم با برنامه دومرحلهای جداگانه آموزش دیده است؛ نه اینکه همان مدل چهارمرحلهای با گامهای کمتر اجرا شود. مرحلههای کمتر، استنتاج سریعتر اما کیفیت تصویری پایینتری میدهد.
آیا میتوان این مدل را روی دادههای خودمان آموزش داد؟
بله؛ مدل با دادهها و اِمبادیمنتهای دیگر، بهشرط داشتن ویدیوی همزمان و بازنماییهای عمل سازگار، قابل انطباق است. دستور گامبهگام تنظیم دقیق معلم و تقطیر Self-Forcing در منبع ارائه شده و کنترلرها باید همان قراردادها و نرمالسازی آموزش را رعایت کنند.
منبع: Hugging Face
