مدل هوش مصنوعی جمنای ۴ کربن گوگل در ارزیابی GDPx توانست با اختلاف امتیازی اندک پشت سر کلاد اپوس ۵.۵ قرار بگیرد؛ اما از نظر هزینه اجرای وظایف، فاصله قابل‌توجهی با رقیب آنتروپیک دارد. بر اساس نتایج منتشرشده، هزینه متوسط اجرای هر وظیفه با جمنای ۴ کربن کمی بیش از ۱۶ دلار است، درحالی‌که این رقم برای کلاد اپوس ۵.۵ حدود ۵۱ دلار گزارش شده است. این نتایج نشان می‌دهد در رقابت مدل‌های پیشرفته هوش مصنوعی، علاوه بر کیفیت عملکرد، هزینه استفاده نیز به یکی از معیارهای مهم انتخاب تبدیل شده است.
بنچمارک GDPx چیست و چه مدل‌هایی را مقایسه می‌کند؟
معیار GDPx مدل‌های پیشرفته هوش مصنوعی شرکت‌هایی مانند گوگل، اوپن‌ای‌آی، آنتروپیک و متا را بر اساس دو شاخص اصلی، یعنی عملکرد و هزینه اجرای وظایف، ارزیابی می‌کند.
این مجموعه شامل ۲۰۶ وظیفه در حوزه‌های حرفه‌ای و تخصصی مختلف است. امور مالی، علم مواد، امنیت سایبری، مهندسی نرم‌افزار، حقوق و زیست‌شناسی از جمله زمینه‌هایی هستند که در این ارزیابی پوشش داده شده‌اند. بنابراین نتایج آن صرفاً توانایی مدل‌ها در تولید متن یا پاسخ‌گویی به پرسش‌های عمومی را نشان نمی‌دهد.
جمنای ۴ کربن با هزینه‌ای کمتر از یک‌سوم کلاد
بر اساس نتایج اولیه GDPx، کلاد اپوس ۵.۵ محصول شرکت آنتروپیک در صدر جدول قرار گرفت و جمنای ۴ کربن با فاصله‌ای نسبتاً محدود در جایگاه بعدی ایستاد. بااین‌حال، اختلاف هزینه اجرای وظایف میان این دو مدل بسیار بیشتر از اختلاف عملکرد آن‌ها گزارش شده است.
هزینه متوسط اجرای هر وظیفه با کلاد اپوس ۵.۵ حدود ۵۱ دلار و با جمنای ۴ کربن کمی بیش از ۱۶ دلار اعلام شده است. به این ترتیب، هزینه مدل گوگل به کمتر از یک‌سوم هزینه رقیب می‌رسد.
این تفاوت به‌ویژه برای شرکت‌ها و سازمان‌هایی اهمیت دارد که تعداد زیادی وظیفه را با کمک هوش مصنوعی انجام می‌دهند. در چنین شرایطی، حتی اختلاف چند ده دلاری در هزینه هر وظیفه می‌تواند در مقیاس گسترده به تفاوت مالی قابل‌توجهی منجر شود.
مقایسه جمنای ۴ کربن، کلاد اپوس ۵.۵ و GPT-6 Astra
در نتایج منتشرشده، GPT-6 Astra در رتبه‌ای پایین‌تر از جمنای ۴ کربن و کلاد اپوس ۵.۵ قرار گرفت. میانگین هزینه اجرای هر وظیفه با این مدل حدود ۵۴ دلار گزارش شده است؛ رقمی که از هزینه هر دو رقیب بیشتر است.
| مدل هوش مصنوعی | جایگاه در رتبه‌بندی اولیه | هزینه تقریبی هر وظیفه |
|---|---|---|
| کلاد اپوس ۵.۵ | رتبه اول | حدود ۵۱ دلار |
| جمنای ۴ کربن | رتبه دوم | کمی بیش از ۱۶ دلار |
| GPT-6 Astra | پایین‌تر از دو مدل دیگر | حدود ۵۴ دلار |
این مقایسه نشان می‌دهد کلاد اپوس ۵.۵ در ارزیابی اولیه بالاترین امتیاز را کسب کرده، اما جمنای ۴ کربن از نظر نسبت عملکرد به هزینه وضعیت متفاوتی دارد. در مقابل، GPT-6 Astra با وجود هزینه بالاتر، در این مجموعه نتایج پایین‌تری از دو مدل دیگر ثبت کرده است.
حذف وظایف حساس چگونه رتبه‌بندی را تغییر داد؟
SemiAnalysis نسخه دیگری از رتبه‌بندی GDPx را نیز منتشر کرده است که در آن وظایف مربوط به امنیت سایبری، زیست‌شناسی و هم‌ترازی هوش مصنوعی حذف شده‌اند. با کنار گذاشتن این سه حوزه، جایگاه مدل‌های برتر تغییر کرده و GPT-6 Astra به رتبه نخست رسیده است.
در این نسخه تعدیل‌شده، GPT 6.1 Sol و کلاد اپوس ۵.۵ نیز بالاتر از جمنای ۴ کربن قرار گرفته‌اند. پژوهشگران SemiAnalysis اعلام کرده‌اند که نتایج این ارزیابی با برداشت‌های ذهنی آن‌ها از توانایی مدل‌ها هماهنگی بیشتری دارد.
تأثیر محدودیت‌های ایمنی بر امتیاز مدل‌ها
یکی از توضیحاتی که در گزارش برای تغییر رتبه‌بندی مطرح شده، تأثیر سازوکارهای ایمنی مدل‌ها است. محافظ‌های ایمنی ممکن است در برابر برخی درخواست‌های مرتبط با امنیت سایبری، زیست‌شناسی یا هم‌ترازی هوش مصنوعی مانع پاسخ‌گویی کامل مدل شوند.
در چنین شرایطی، امتیاز پایین‌تر لزوماً به معنای ضعف فنی در همه زمینه‌ها نیست و ممکن است تا حدی از محدودیت‌های اعمال‌شده برای پاسخ‌گویی به درخواست‌های حساس تأثیر گرفته باشد. به همین دلیل، نتایج بنچمارک باید با توجه به نوع وظایف و محدودیت‌های ارزیابی تفسیر شوند.
جمنای ۴ آرگون در مقایسه با مدل جدید گوگل
مدل پیشین گوگل با نام جمنای ۴ آرگون در هر دو نسخه رتبه‌بندی GDPx جایگاه هشتم را به دست آورده بود. این مدل بالاتر از Muse Wonder متعلق به متا و پایین‌تر از Wonder Full قرار گرفت.
طبق گزارش، هزینه اجرای وظایف با جمنای ۴ آرگون تنها اندکی کمتر از جمنای ۴ کربن بوده است. بنابراین، جایگاه بهتر مدل جدید در کنار هزینه‌ای نزدیک به مدل قبلی، از بهبود نسبت عملکرد به هزینه در نسل تازه مدل‌های گوگل حکایت دارد.
مدل‌های گوگل در امنیت سایبری چه عملکردی دارند؟
بررسی جداگانه حوزه امنیت سایبری تصویر متفاوتی از رقابت مدل‌ها ارائه می‌کند. بر اساس نتایج GDPx، هر دو مدل گوگل در وظایف این حوزه امتیاز بیشتری از مدل‌های اوپن‌ای‌آی و آنتروپیک کسب کرده‌اند؛ اما همچنان پایین‌تر از خانواده Muse متعلق به متا قرار گرفته‌اند.
در این بخش، مدل‌های Muse با فاصله‌ای معنادار بهترین عملکرد را ثبت کرده‌اند. این موضوع نشان می‌دهد رتبه‌بندی کلی الزاماً بیانگر برتری یک مدل در تمام حوزه‌های تخصصی نیست و توانایی مدل‌ها می‌تواند بسته به نوع وظیفه تفاوت داشته باشد.
آیا جمنای ۴ کربن انتخاب اقتصادی‌تری است؟
نتایج منتشرشده از ارزیابی GDPx نشان می‌دهد انتخاب مدل هوش مصنوعی تنها به بالاترین امتیاز عملکرد وابسته نیست. کلاد اپوس ۵.۵ در رتبه‌بندی اولیه صدرنشین است، اما جمنای ۴ کربن با هزینه‌ای به‌مراتب کمتر به عملکرد آن نزدیک شده است.
برای استفاده‌های پرتعداد و سازمانی، هزینه اجرای هر وظیفه می‌تواند به‌اندازه کیفیت خروجی اهمیت داشته باشد. البته انتخاب نهایی به نوع کاربرد، حساسیت وظایف، محدودیت‌های ایمنی و میزان دقت موردنیاز بستگی دارد. از سوی دیگر، تغییر نتایج در نسخه تعدیل‌شده بنچمارک نشان می‌دهد برای قضاوت دقیق درباره مدل‌ها باید جزئیات آزمون و حوزه‌های مورد ارزیابی را نیز در نظر گرفت.
