آنطور که مشخص است خالق چتجیپیتی محبوب از دادههای Reddit برای سنجش توانایی استدلال هوش مصنوعی OpenAI استفاده کرده است.
به گزارش تکراتو به نقل از techcrunch، شرکت OpenAI برای ارزیابی توانایی متقاعدسازی مدلهای هوش مصنوعی خود، از سابردیت r/ChangeMyView استفاده کرده است. این موضوع در یک System Card (سندی که نحوه عملکرد یک سیستم هوش مصنوعی را توضیح میدهد) فاش شد. این سند همزمان با معرفی مدل جدید o3-mini منتشر شده است.
سابردیت r/ChangeMyView یکی از جوامع پرطرفدار در Reddit است که کاربران در آن نظرات جنجالی خود را مطرح میکنند تا بازخورد بگیرند و دیدگاههای جدیدی را بشنوند. سایر کاربران نیز تلاش میکنند با ارائه استدلالهای قانعکننده، نظر فرد منتشرکننده پست را تغییر دهند.
این نوع دادههای انسانی ارزشمند، به معدن طلایی برای شرکتهای فناوری مثل OpenAI تبدیل شده است. این شرکتها برای آموزش مدلهای هوش مصنوعی خود به دادههای باکیفیت و تولیدشده توسط کاربران نیاز دارند.
OpenAI با جمعآوری پستهای این سابردیت، از مدلهای هوش مصنوعی خود خواسته است تا پاسخهایی بنویسند که بتوانند نظر کاربر اصلی را تغییر دهند. سپس این پاسخها به گروهی از آزمایشکنندگان نشان داده شده تا میزان متقاعدکنندگی آنها را ارزیابی کنند. در نهایت، OpenAI پاسخهای تولیدشده توسط هوش مصنوعی را با پاسخهای واقعی کاربران Reddit مقایسه کرده است.
OpenAI دارای قرارداد مجوز محتوایی با Reddit است که به آن اجازه میدهد از پستهای کاربران برای آموزش مدلهایش استفاده کند. اگرچه مبلغ این قرارداد مشخص نیست، اما گزارشها نشان میدهند که گوگل سالانه ۶۰ میلیون دلار برای دسترسی به دادههای ردیت پرداخت میکند.
با این حال، OpenAI اعلام کرده است که این ارزیابی مستقل از قرارداد Reddit انجام شده است. مشخص نیست که این شرکت چگونه به دادههای r/ChangeMyView دسترسی پیدا کرده و برنامهای برای انتشار نتایج این آزمایش ندارد.
ردیت در گذشته شرکتهای مختلفی را به جمعآوری بدون مجوز دادهها متهم کرده است. مدیرعامل Reddit، استیو هافمن، اعلام کرده بود که برخی شرکتها از جمله مایکروسافت، Anthropic و Perplexity از همکاری با Reddit خودداری کردهاند و این موضوع، مسدود کردن آنها را دشوار کرده است.
همچنین، OpenAI پیشتر در چندین پرونده حقوقی متهم شده است که بدون اجازه، محتوای وبسایتهایی مانند نیویورک تایمز را برای آموزش مدلهای خود استخراج کرده است.
در زمینه عملکرد مدلها، ارزیابیها نشان میدهد که مدل o3-mini تفاوت قابلتوجهی در متقاعدسازی نسبت به o1 یا GPT-4o ندارد. اما مدلهای جدید OpenAI بهطور کلی قانعکنندهتر از بیشتر کاربران سابردیت r/ChangeMyView عمل میکنند.
به گفته OpenAI، مدلهای GPT-4o، o3-mini و o1 در رده ۸۰ تا ۹۰ درصدی برتر انسانها از نظر قدرت متقاعدسازی قرار دارند. با این حال، هنوز نشانهای از برتری مطلق یا عملکردی فراتر از تواناییهای انسانی (Superhuman Performance) در این مدلها دیده نمیشود.
هدف OpenAI از این آزمایشها، ساختن مدلهایی با توانایی متقاعدسازی بیشازحد بالا نیست، بلکه این شرکت میخواهد از کنترلناپذیر شدن قدرت متقاعدسازی مدلهای خود جلوگیری کند.
ترس اصلی این است که یک مدل هوش مصنوعی که بهشدت در متقاعدسازی مهارت دارد، میتواند خطرناک باشد. اگر چنین مدلی بیش از حد متقاعدکننده باشد، ممکن است از آن برای تاثیرگذاری بر کاربران، پیشبرد یک دستور کار خاص یا حتی فریب مردم استفاده شود.
با اینکه OpenAI حجم زیادی از اینترنت را برای آموزش مدلهای خود استخراج کرده و قراردادهایی برای دسترسی به دادههای اضافی بسته است، این آزمایش نشان میدهد که هنوز هم پیدا کردن مجموعه دادههای باکیفیت برای سنجش تواناییهای مدلهای هوش مصنوعی کار آسانی نیست.
OpenAI
طراحی و اجرا :
وین تم
هر گونه کپی برداری از طرح قالب یا مطالب پیگرد قانونی خواهد داشت ، کلیه حقوق این وب سایت متعلق به وب سایت تک فان است
دیدگاهتان را بنویسید