شرکت‌های هوش مصنوعی مانند OpenAI در تلاش‌اند تا با توسعه تکنیک‌های آموزشی که به الگوریتم‌ها راه‌های شبیه‌تر به تفکر انسان را می‌آموزد، بر تاخیرها و چالش‌های غیرمنتظره در مسیر ساخت مدل‌های زبانی عظیم‌تر غلبه کنند.
دوازده دانشمند، پژوهشگر و سرمایه‌گذار هوش مصنوعی به خبرگزاری رویترز گفته‌اند که باور دارند این تکنیک‌ها که پایه مدل جدید o1 از OpenAI هستند، می‌توانند رقابت هوش مصنوعی را دگرگون کنند و بر نوع منابع مورد نیاز این شرکت‌ها، از انرژی گرفته تا انواع تراشه‌ها که تقاضای بی‌پایانی برای آنها وجود دارد، تاثیر بگذارند.
OpenAI از اظهار نظر در این باره خودداری کرد. پس از عرضه چت‌بات معروف ChatGPT دو سال پیش، شرکت‌های فناوری که ارزش آنها از رونق هوش مصنوعی بسیار بهره برده است، به‌طور عمومی تاکید داشته‌اند که “گسترش” مدل‌های فعلی از طریق افزودن داده و قدرت محاسباتی، به‌طور مداوم منجر به بهبود این مدل‌ها خواهد شد.
اما اکنون برخی از برجسته‌ترین دانشمندان هوش مصنوعی درباره محدودیت‌های این فلسفه “هر چه بزرگ‌تر بهتر” سخن گفته‌اند.
ایلیا سوتسکِوِر (Ilya Sutskever)، یکی از بنیان‌گذاران آزمایشگاه هوش مصنوعی Safe Superintelligence (SSI) و OpenAI، اخیراً به رویترز گفته است که نتایج حاصل از افزایش مقیاس پیش‌آموزش – مرحله‌ای از آموزش مدل هوش مصنوعی که از مقدار زیادی داده بدون برچسب برای فهم الگوها و ساختارهای زبانی استفاده می‌کند – به حد نهایی رسیده است.
سوتسکِوِر به‌عنوان یکی از حامیان اولیه پیشرفت‌های عظیم در هوش مصنوعی مولد با استفاده از داده بیشتر و قدرت محاسباتی در پیش‌آموزش شناخته می‌شود که در نهایت ChatGPT را ایجاد کرد. سوتسکِوِر اوایل امسال OpenAI را ترک کرد تا SSI را بنیان‌گذاری کند.
سوتسکِوِر گفت: “دهه ۲۰۱۰ دوران گسترش بود و اکنون بار دیگر به دوران شگفتی و کشف بازگشته‌ایم. همه به دنبال چیز بعدی هستند. اکنون بیش از همیشه گسترش در مسیر درست اهمیت دارد.”
سوتسکِوِر از ارائه جزئیات بیشتر درباره نحوه برخورد تیمش با این موضوع خودداری کرد و فقط گفت که SSI بر روی رویکردی جایگزین برای افزایش مقیاس پیش‌آموزش کار می‌کند.
پشت پرده، پژوهشگران در آزمایشگاه‌های بزرگ هوش مصنوعی با تاخیرها و نتایج ناامیدکننده‌ای در رقابت برای عرضه مدلی بزرگ‌تر از مدل GPT-4 از OpenAI که تقریباً دو سال قدمت دارد، روبه‌رو بوده‌اند، به گفته سه منبع آگاه از امور خصوصی.
به‌اصطلاح “دورهای آموزشی” برای مدل‌های بزرگ می‌توانند ده‌ها میلیون دلار هزینه داشته باشند و نیازمند همزمانی صدها تراشه هستند. این دورها به دلیل پیچیدگی سیستم، بیشتر در معرض خرابی‌های ناشی از سخت‌افزار قرار دارند؛ پژوهشگران ممکن است تا پایان دوره آموزشی که ماه‌ها طول می‌کشد، از عملکرد نهایی مدل‌ها مطلع نباشند.
چالش دیگر این است که مدل‌های زبانی بزرگ مقدار عظیمی از داده را مصرف می‌کنند و مدل‌های هوش مصنوعی همه داده‌های آسان‌دسترس جهان را به پایان رسانده‌اند. کمبود انرژی نیز این فرآیند را مختل کرده است، زیرا آموزش مدل‌ها نیازمند مقادیر بسیار زیادی انرژی است.
برای غلبه بر این چالش‌ها، پژوهشگران در حال بررسی تکنیکی به نام “محاسبه در زمان استنتاج” هستند که مدل‌های هوش مصنوعی موجود را در فاز “استنتاج” یا زمانی که مدل در حال استفاده است، تقویت می‌کند. برای مثال، به جای انتخاب بلافاصله یک پاسخ، مدل می‌تواند چندین گزینه را در زمان واقعی تولید و ارزیابی کرده و در نهایت بهترین مسیر را انتخاب کند.
این روش به مدل‌ها اجازه می‌دهد تا توان پردازشی بیشتری را به وظایف چالش‌برانگیزی مانند حل مسائل ریاضی، کدنویسی و عملیات پیچیده که نیاز به استدلال و تصمیم‌گیری شبیه به انسان دارند، اختصاص دهند.
نوام براون (Noam Brown)، پژوهشگر OpenAI که روی مدل o1 کار کرده است، ماه گذشته در کنفرانس TED AI در سانفرانسیسکو گفت: “مشخص شد که وقتی یک ربات ۲۰ ثانیه در بازی پوکر فکر کند، به همان بهبودی عملکرد می‌رسد که با افزایش ۱۰۰ هزار برابری مقیاس مدل و آموزش آن به مدت ۱۰۰ هزار برابر طولانی‌تر حاصل می‌شود.”
OpenAI از این تکنیک در مدل جدید خود به نام “o1″، که قبلاً با نام Q* و Strawberry شناخته می‌شد و رویترز اولین بار در ماه ژوئیه گزارش داد، استفاده کرده است. مدل o1 قادر است به‌صورت چندمرحله‌ای به مسائل فکر کند، مشابه استدلال انسانی. همچنین این مدل شامل داده و بازخوردهای گردآوری شده از متخصصان دکترا و صنعت است. نقطه قوت سری o1 مجموعه‌ای دیگر از آموزش‌هاست که بر روی مدل‌های پایه مانند GPT-4 انجام می‌شود و شرکت قصد دارد این تکنیک را در مدل‌های پایه بزرگ‌تر و بیشتری به کار گیرد.
همزمان، پژوهشگران دیگر آزمایشگاه‌های پیشرو در هوش مصنوعی مانند Anthropic، xAI و Google DeepMind نیز در حال کار بر روی نسخه‌های خود از این تکنیک هستند، به گفته پنج نفر آگاه از این تلاش‌ها.
کوین ویل (Kevin Weil)، مدیر ارشد محصول OpenAI در یک کنفرانس فناوری در اکتبر گفت: “ما بسیاری از میوه‌های آویزان بر شاخه‌های پایین داریم که می‌توانیم با چیدن آنها به‌سرعت این مدل‌ها را بهتر کنیم. تا زمانی که دیگران به ما برسند، ما سعی خواهیم کرد سه گام جلوتر باشیم.”
گوگل و xAI به درخواست‌ها برای اظهار نظر پاسخ ندادند و Anthropic نیز نظری ارائه نکرد.
این تغییر می‌تواند چشم‌انداز رقابتی سخت‌افزار هوش مصنوعی را که تاکنون با تقاضای بی‌پایان برای تراشه‌های هوش مصنوعی Nvidia تسلط یافته، تغییر دهد. سرمایه‌گذاران برجسته ریسک‌پذیر مانند Sequoia و Andreessen Horowitz که میلیاردها دلار برای توسعه مدل‌های گران‌قیمت هوش مصنوعی در چندین آزمایشگاه از جمله OpenAI و xAI سرمایه‌گذاری کرده‌اند، به این انتقال توجه کرده و تاثیر آن را بر روی سرمایه‌گذاری‌های کلان خود ارزیابی می‌کنند.
سونیا هوانگ (Sonya Huang)، شریک سرمایه‌گذاری در Sequoia Capital، به رویترز گفت: “این تغییر ما را از دنیای خوشه‌های بزرگ پیش‌آموزشی به سمت ابرهای استنتاجی می‌برد، که سرورهای ابری توزیع‌شده برای استنتاج هستند.”
تقاضا برای تراشه‌های هوش مصنوعی Nvidia که از پیشرفته‌ترین تراشه‌هاست، آن را به ارزشمندترین شرکت جهان تبدیل کرده و در ماه اکتبر از اپل پیشی گرفت. برخلاف تراشه‌های آموزشی که Nvidia در آنها مسلط است، این غول تراشه ممکن است در بازار استنتاج با رقابت بیشتری روبه‌رو شود.
هنگامی که از Nvidia درباره تاثیر احتمالی این تغییر بر تقاضا برای محصولاتش پرسیده شد، به ارائه‌های اخیر شرکت درباره اهمیت تکنیک‌های پشت مدل o1 اشاره کرد. مدیرعامل این شرکت، جنسن هوانگ (Jensen Huang)، درباره افزایش تقاضا برای استفاده از تراشه‌های خود در استنتاج صحبت کرده است.
او ماه گذشته در کنفرانسی در هند گفت: “ما اکنون قانون دوم مقیاس را کشف کرده‌ایم و این قانون مقیاس در دوران استنتاج است… همه این عوامل باعث شده تقاضا برای بلک‌ول (Blackwell) بسیار بالا باشد.”