ارسال دیدگاه
امروز: پنج شنبه , ۱۸ بهمن , ۱۴۰۳
X
گروهی از محققان دانشگاه کالیفرنیا، برکلی اعلام کرده‌اند که فناوری دیپ سیک (DeepSeek) را تنها با ۳۰ دلار بازسازی کرده‌اند.
به‌گزارش تکراتو به نقل از bgr، این تیم، به سرپرستی «جیایی پان»، دانشجوی دکتری، توانست قابلیت‌های یادگیری تقویتی مدل DeepSeek R1-Zero را با استفاده از یک مدل زبانی کوچک که تنها ۳ میلیارد پارامتر داشت، بازآفرینی کند.
با وجود اندازه نسبتا محدود این مدل، هوش مصنوعی بازسازی‌شده توانست ویژگی‌هایی همچون خوداعتباری‌سنجی و جستجو را نشان دهد، قابلیت‌هایی که به آن امکان می‌دهند پاسخ‌های خود را به‌طور مداوم اصلاح کند.
یادگیری مدل با حل معماهای عددی
برای آزمایش این مدل، تیم برکلی از بازی «شمارش معکوس» (Countdown) استفاده کرد، یک معمای عددی مبتنی بر یک برنامه تلویزیونی بریتانیایی که در آن بازیکنان باید با استفاده از عملیات ریاضی به یک عدد هدف برسند.
در ابتدا، مدل تنها حدس‌های تصادفی ارائه می‌داد، اما با استفاده از یادگیری تقویتی، توانست تکنیک‌هایی برای اصلاح خود و حل مسائل به‌صورت مرحله‌به‌مرحله توسعه دهد.
در نهایت، این هوش مصنوعی یاد گرفت که پاسخ‌های خود را بازبینی کند تا به نتیجه درست برسد. محققان همچنین آزمایش‌هایی در زمینه ضرب انجام دادند که در آن مدل توانست معادلات را با استفاده از خاصیت توزیعی تجزیه کند، مشابه روشی که انسان‌ها برای حل مسائل ضرب بزرگ به‌کار می‌گیرند. این آزمایش‌ها نشان داد که مدل می‌تواند استراتژی‌های خود را بر اساس نوع مسئله تنظیم کند.
بازسازی فناوری دیپ سیک تنها با ۳۰ دلار
نکته شگفت‌انگیز این است که کل این بازسازی فقط ۳۰ دلار هزینه داشته است. پان در پستی در نیتِر (Nitter) این موضوع را مطرح کرده و آن را با هزینه‌های هنگفت شرکت‌های پیشرو در زمینه هوش مصنوعی مقایسه کرده است.
محققان مدل‌های مختلفی را آزمایش کردند و از یک مدل با ۵۰۰ میلیون پارامتر شروع کردند که تنها می‌توانست حدس بزند و پاسخ اشتباه را تصحیح نکند. زمانی که اندازه مدل به ۱٫۵ میلیارد پارامتر افزایش یافت، توانایی بازبینی پاسخ‌ها در آن ظاهر شد.
مدل‌هایی با ۳ تا ۷ میلیارد پارامتر بهبود چشمگیری نشان دادند و مسائل را با دقت بالاتر و در تعداد مراحل کمتری حل کردند.
برای مقایسه، در حال حاضر هزینه استفاده از API شرکت OpenAI برابر با ۱۵ دلار به ازای هر میلیون توکن است، در حالی که دیپ‌سیک این هزینه را به ۰٫۵۵ دلار کاهش داده است. با این حال، یافته‌های تیم برکلی نشان می‌دهد که می‌توان مدل‌های هوش مصنوعی بسیار توانمند را با کسری از هزینه‌های شرکت‌های بزرگ توسعه داد.
نگرانی‌ها درباره دیپ‌سیک
با این وجود، دلایل متعددی وجود دارد که چرا برخی توصیه می‌کنند از دیپ‌سیک استفاده نکنید. یکی از نگرانی‌های مطرح‌شده این است که برخی متخصصان در مورد ادعای ارزان‌بودن این فناوری تردید دارند.
«نیتن لمبرت»، پژوهشگر هوش مصنوعی، هشدار داده که ممکن است هزینه ۵ میلیون دلاری اعلام‌شده برای آموزش مدل ۶۷۱ میلیارد پارامتری دیپ‌سیک تمام واقعیت را منعکس نکند. علاوه بر این، این هوش مصنوعی حجم زیادی از داده‌ها را به چین ارسال می‌کند، مسئله‌ای که باعث نگرانی شده و حتی منجر به ممنوعیت استفاده از دیپ‌سیک در برخی مناطق ایالات متحده شده است.
لمبرت تخمین می‌زند که هزینه‌های عملیاتی سالانه دیپ‌سیک ممکن است بین ۵۰۰ میلیون تا بیش از ۱ میلیارد دلار باشد، با درنظرگرفتن هزینه‌های زیرساخت، مصرف انرژی و نیروی انسانی. همچنین OpenAI ادعا کرده که شواهدی وجود دارد که نشان می‌دهد دیپ‌سیک با استفاده از ChatGPT آموزش داده شده که این می‌تواند یکی از دلایل کاهش هزینه‌های آن باشد.
با این حال، تحقیقات تیم برکلی نشان می‌دهد که یادگیری تقویتی پیشرفته را می‌توان بدون نیاز به بودجه‌های هنگفتی که شرکت‌هایی مانند OpenAI، گوگل و مایکروسافت صرف می‌کنند، پیاده‌سازی کرد. با توجه به اینکه برخی آزمایشگاه‌های هوش مصنوعی سالانه تا ۱۰ میلیارد دلار برای آموزش مدل‌های خود هزینه می‌کنند، این پژوهش می‌تواند نشانه‌ای از یک تحول بالقوه در این حوزه باشد.
ChatGPT
طراحی و اجرا :
وین تم
هر گونه کپی برداری از طرح قالب یا مطالب پیگرد قانونی خواهد داشت ، کلیه حقوق این وب سایت متعلق به وب سایت تک فان است
دیدگاهتان را بنویسید