Phonon، مدل متن به گفتار کوچک اما قدرتمند، حالا روی هر دستگاه شخصی شما اجرا میشود و کیفیت آن در رتبه‌های برتر بنچمارک‌های جهانی قرار گرفته است.
این مدل متن به گفتار نیازی به سرور یا اینترنت ندارد و تمام متن و صدا روی دستگاه شما می‌ماند. دو هفته پیش، مجموعه Hugging Face وزن‌های آن را آزاد کرد تا توسعه‌دهندگان بتوانند از آن برای پروژه‌های تجاری هم استفاده کنند.
در ادامه، دلیل ساخت این مدل، قابلیت‌های آن، دموهای کاربردی و عملکرد آن در ارزیابی‌های رسمی را بررسی می‌کنیم.
چرا صدای گفتاری باید روی دستگاه شما بماند
اکثر سیستم‌های هوش مصنوعی گفتار، همه مکالمات را از طریق سرورهای ابری ارسال و دریافت می‌کنند. این رویکرد حریم خصوصی را کاهش می‌دهد و وابستگی به اینترنت ایجاد می‌کند.
Phonon بر اساس همان خط پایه Pocket TTS ساخته شده و از تکنیک flow matching برای تولید صوت استفاده می‌کند. این روش کیفیت بالا را در مدل‌های خیلی کوچک ممکن کرده، اما در فرآیند آموزش چالش‌های فنی جدیدی ایجاد کرد.
مدل‌ها ابتدا ناپایدار بودند و نیاز به تکنیک‌های مختلفی داشتند تا در پنج زبان اصلی نتایج باکیفیتی حاصل شود.
چه چیزی منتشر شد
Phonon در دو اندازه حدود ۶۵ مگابایت و ۷۵ مگابایت ارائه میشود. این مدل‌ها انگلیسی، فرانسوی، آلمانی، اسپانیایی و پرتغالی را پشتیبانی می‌کنند.
- بیش از ۱۰۰ صدای داخلی آماده وجود دارد.
- می‌توانید صداهای شخصی‌سازی شده ایجاد کنید و آن‌ها را در استودیو Gradium دانلود و بارگذاری کنید.
- در موارد پیچیده مانند شماره تلفن، تاریخ‌ها و کدهای خاص، رفتار طبیعی نشان می‌دهد.
فایل وزن مدل Phonon ۳۱ میلیونی تحت لایسنس Apache ۲.۰ است و حتی برای پروژه‌های تجاری رایگان استفاده میشود. مدل Phonon ۴۰ میلیونی برای پروژه‌های غیرتجاری در دسترس است.
این مدل کجا اجرا میشود
Phonon روی گوشی‌های هوشمند، لپ‌تاپ‌ها، کامپیوترهای تک‌برگه و حتی تب مرورگر کار می‌کند. برای تست سریع، می‌توانید از فضای Hugging Face استفاده کنید.
فریمورک اختصاصی ptts پشتیبانی از بیش از ۱۰ بک‌اند دارد: CPU برای Intel، Arm و WebAssembly، GPU برای CUDA، Vulkan، Metal و WebGPU، و NPU برای Apple Core ML و Snapdragon.
نحوه استفاده فنی در Transformers
از نسخه ۵.۲۱ به بعد، Hugging Face مدل را به صورت مرجع PyTorch در Transformers ادغام کرده است. این پیاده‌سازی بر پایه مدل‌های Pocket TTS ساخته شده و فقط ۲۰۰ خط کد برای تفاوت‌های Phonon دارد.
ساختار داخلی به این شکل است که صوت به صورت لatentهای خودکار تولید میشود. هر گام لاتنت خروجی را به ورودی بعدی می‌دهد و تابع هزینه روی این لاتنت‌ها محاسبه میشود.
برای بارگذاری:
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration model_id = "gradium/phonon-31m-en" processor = AutoProcessor.from_pretrained(model_id, device_map="auto") model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")صدای شخصی از طریق فایل safetensors با لاتنت‌های speaker بارگذاری میشود. قالب چت شامل جای خالی برای صدا است و پردازنده به طور خودکار تعداد فریم‌ها را گسترش می‌دهد.
نتیجه تولید لاتنت است که سپس به صوت واقعی تبدیل میشود.
چگونه در بنچمارک‌ها برتر شد
در لیدربورد Open TTS از Hugging Face که بیش از ۹ هزار مدل را بررسی می‌کند، Phonon در intelligibility رتبه اول در آلمانی و اسپانیایی دارد و در تمام زبان‌های ارزیابی‌شده در سه رتبه برتر قرار می‌گیرد، حتی در برابر مدل‌های بسیار بزرگ‌تر.
در سرعت، به ویژه در زمان تا اولین نمونه صوتی (time-to-first audio) در بنچمارک CPU streaming، مدل‌ها در صدر قرار دارند.
Phonon ۳۱ میلیونی انگلیسی در ۲۸ میلی‌ثانیه و Phonon ۴۰ میلیونی در ۳۸ میلی‌ثانیه رتبه اول و دوم را کسب کرده‌اند، در حالی که Pocket TTS در ۱۶۵ میلی‌ثانیه قرار دارد.
این نمودار مقایسه مستقیم رتبه‌بندی مدل‌ها بر اساس زمان تولید اولین نمونه صوتی را نشان می‌دهد و بر برتری سرعت Phonon تأکید دارد.
نمونه‌های کاربردی و پروژه‌های اولیه
در روز انتشار، دموهایی از تیم خود و دوستان نشان داده شد. یکی روی اپل واچ بدون وای‌فای، مراحل دم‌کردن قهوه را گام‌به‌گام راهنمایی می‌کند. روی گوشی بدون سیگنال، تعداد تکرارهای ورزشی را شمارش می‌کند.
یک ربات به نام Lamp از شرکت Autonomous با کلاه تاقچه صحبت می‌کند. در مرورگر، یک بازی دایناسور آفلاین به یک پادکست رادیویی تبدیل میشود که توسط Rex میزبانی میشود. همچنین بازی‌های علمی-تخیلی و کتاب پروست با صدای کاربر روی دستگاه او خوانده میشود.
تیم Hugging Face ادغام Transformers را به صورت رایگان ارائه کرد. توسعه‌دهندگان دیگر پروژه‌هایی مانند تبدیل به ExecuTorch برای مرورگر، Micdrop برای اپلیکیشن‌های Node.js و فضاهای کوچک‌سایز-اساس را ساختند.
در دو هفته اول، بیش از ۲۰۰ هزار بار دانلود شد و همچنان در صدر دانلودهای Hugging Face است.
آینده Phonon و راه‌های همکاری
هر صدایی که بخواهید، از طریق voice cloning از ضبط کوتاه با رضایت گوینده یا توصیف متنی در استودیو Gradium ایجاد کنید. سپس فایل را دانلود و در مدل بارگذاری کنید و روی دستگاه اجرا میشود.
در حال حاضر، با شرکای طراحی، مدل‌های سفارشی را برای بودجه حافظه کم، زبان‌های جدید مانند کره‌ای، عربی یا ژاپنی و حتی واژگان اختصاصی پروژه آموزش می‌دهند. برای جزئیات بیشتر، از طریق لینک تماس با تیم در سایت Gradium ارتباط برقرار کنید.
Phonon اولین انتشار باز آنهاست و توسعه‌دهندگان را به ساخت پروژه‌های جدید دعوت می‌کند.
پرسش‌های متداول
Phonon TTS چیست؟
Phonon یک مدل متن به گفتار کوچک است که روی دستگاه کاربر اجرا میشود، بدون نیاز به اینترنت و با وزن‌های باز.
کدام زبان‌ها در Phonon پشتیبانی می‌شوند؟
انگلیسی، فرانسوی، آلمانی، اسپانیایی و پرتغالی با بیش از ۱۰۰ صدای آماده.
چگونه Phonon روی دستگاه اجرا میشود؟
با فریمورک ptts روی CPU، GPU و NPU مختلف، از جمله مرورگر و گوشی.
منبع: Hugging Face
