خلق محبوب ترین چت بات دنیا از زبان سازندگانش | چت بات یا هوش مصنوعی چگونه ساخته شد

​ جان شولمن

 با روشی بسیار مشابه با InstructGPT و تکنیک «یادگیری تقویتی از بازخورد انسان» (RLHF) آموزش داده شده است. ایده اصلی این است که یک مدل زبانی بزرگ، در اینجا GPT-3.5، با تمایل به گفتن هر چیزی که می‌خواهد را برای گفتن پاسخ‌های موردعلاقه انسان‌ها، تنظیم کنید.

لیک:  ما یک گروه بزرگ از مردم را داشتیم که درخواست‌ها و پاسخ‌های ChatGPT را می‌خواندند و در ادامه می‌گفتند که کدام پاسخ بر دیگری ارجحیت دارد. تمام این داده‌ها درون یک دوره آموزشی ادغام می‌شد. بسیاری از این کارها دقیقاً همان رویکردی است که برای InstructGPT داشتیم. شما می‌خواهید این چت‌بات مفید، صادق و غیرسمی باشد. علاوه بر این‌ها، با مواردی روبه‌رو هستیم که برای تولید گفت‌وگو کاربرد دارند. مثلاً اگر درخواست کاربر چندان واضح نباشد، باید سؤالات بیشتری بپرسد. چت‌بات همچنین باید نشان دهد که یک سیستم هوش مصنوعی است. درحقیقت نباید هویتی را فرض کند که ندارد و نباید مدعی داشتن توانایی‌هایی شود که ندارد. همچنین اگر کاربر از او کاری خواست که نباید انجام دهد، یک پیام برای امتناع از آن ارائه کند.

آگاروال:  آره، فکر می‌کنم این اتفاقی است که افتاد. لیستی از معیارهای مختلف مانند صداقت وجود داشت که نیروهای انسانی باید آن‌ها را رتبه‌بندی می‌کردند. آن‌ها همچنین شروع به ارجح‌دانستن مواردی کردند که به‌نظرشان خوب بود؛ مانند تظاهر‌نکردن چت‌بات به چیزی که نیست.

از آنجایی که ChatGPT با استفاده از تکنیک‌های قبلی OpenAI توسعه پیدا کرد، تیم در هنگام آماده‌سازی‌اش برای انتشار عمومی، کار متفاوتی انجام ندادند. آن‌ها احساس کردند که حد و مرزی که برای مدل‌های قبلی تعیین شده بودند، برای چت جی‌پی‌تی هم کفایت می‌کند.

شولمن:  نمی‌توانید منتظر بمانید تا سیستمتان کامل و بی‌نقص شود و بعد آن را منتشر کنید. ما برای چند ماه نسخه‌های قبلی آن را به‌صورت بتا آزمایش کردیم و آزمایش‌کنندگان نسخه‌های بتا نظر مثبتی نسبت به محصول داشتند. بزرگ‌ترین نگرانی ما ارائه داده‌های واقعی بود؛ چرا که مدل‌ها دوست دارند برای خودشان دیتا بسازند. بااین‌حال InstructGPT و سایر مدل‌های زبانی بزرگ همین حالا هم منتشر شده‌اند و به همین خاطر فکر کردیم تا زمانی که ChatGPT به‌خوبی مدل‌های دیگر است، مشکلی وجود ندارد. قبل از انتشار با ارزیابی‌های محدودمان مطمئن شدیم که ChatGPT نسبت به سایر مدل‌ها ایمن‌تر است و به همین دلیل تصمیم به عرضه آن گرفتیم.

شرکت OpenAI از زمان عرضه مدل هوش مصنوعی‌اش، شاهد استقبالی است که مردم از آن کرده‌اند. درحقیقت برای اولین‌بار یک مدل زبانی بزرگ دست میلیون‌ها نفر رسیده که می‌خواهند محدودیت‌هایش را آزمایش و نقص‌هایش را پیدا کنند. سازندگان تلاش کردند برای جلوگیری از بروز مشکلات بزرگ، بدترین سناریوهای ممکن را امتحان و از آن‌ها برای آموزش ChatGPT استفاده کنند.​

آگاروال:  در هفته‌های اولیه پس از انتشار، ما به برخی از بدترین نمونه‌هایی که مردم پیدا کرده بودند، نگاه کردیم. هر کدام از آن‌ها را ارزیابی و درباره چگونگی رفع آن‌ها صحبت کردیم.

لیک:  برخی مواقع مشکلات در توییتر وایرال می‌شوند، اما افرادی را هم داریم که می‌توانیم بی‌سروصدا با آن‌ها ارتباط برقرار کنیم.

آگاروال:  بسیاری از چیزهایی که پیدا کردیم، جیلبریک بودند و قطعاً مشکلاتی بودند که باید برطرف می‌کردیم. اگرچه کاربران به‌طور مداوم به‌دنبال روش‌های پیچیده‌ای برای گرفتن پاسخ‌های نامناسب از ChatGPT بودند، اما این موضوع نه ما را چندان شگفت‌زده کرد و نه از آن چشم‌پوشی کرده بودیم. بااین‌حال، هنوز ما به‌طور فعالانه روی این موارد کار می‌کنیم. زمانی که با مشکلی روبه‌رو شویم، آن را به داده‌های تمرینی‌مان اضافه می‌کنیم. تمام داده‌های را که می‌بینیم، به یک مدل برای آینده خورانده می‌شوند.

لیک:  هر‌ بار که مدل بهتری داریم، می‌خواهیم آن را به دنیای بیرون نشان دهیم و تستش کنیم. ما خیلی خوشبین هستیم که برخی آزمایش‌های خصمانه هدفمند بتوانند وضعیت مربوط به جیلبریک‌ها را به‌طور چشمگیری بهبود دهند. نمی‌دانیم این مشکلات به‌طور کامل رفع می‌شوند یا خیر، اما فکر می‌کنیم که دورزدن محدودیت‌ها و جیلبریک را می‌توانیم بسیار دشوارتر کنیم. بازهم باید به این نکته اشاره کنم که قبل از انتشار هم می‌دانستیم که امکان جیلبریک وجود دارد. فکر می‌کنم پیش‌بینی مشکلات امنیتی واقعی این سیستم‌ها پس از ارائه بسیار سخت است. بنابراین تأکید زیادی روی نظارت بر رفتار مردم در هنگام استفاده از ChatGPT داشتیم. آن‌ها را زیر نظر گرفتیم و نسبت به آن‌ها واکنش نشان دادیم. این موضوع به‌معنای آن نیست که نسبت به مشکلات پیش‌بینی‌شده بی‌تفاوت باشیم، اما پیش‌بینی مشکلات در دنیای واقعی بسیار سخت استدر ژانویه 2023، مایکروسافت از بینگ‌چت رونمایی کرد؛ یک چت‌بات جستجو که بسیاری فکر می‌کردند مبتی بر مدل زبانی GPT-4 است، اما این چت‌بات براساس پیشرفت‌های ChatGPT و GPT-3.5 توسعه یافته است. استفاده از چت‌بات‌ها توسط غول‌های فناوری با سرمایه چند میلیارد دلاری که باید از آن محافظت کنند، چالش‌های جدیدی را برای سازندگان این مدل‌ها ایجاد می‌کند.

لیک:  خطرات و نگرانی‌ها مسلماً درحال‌حاضر بسیار بیشتر از مثلاً 6 ماه پیش هستند، اما هنوز نسبت به چیزی که شاید سال آینده باشند، کمتر است. یکی از موارد مهم درباره این مدل‌ها، موارد استفاده از آن‌هاست. مثلاً برای گوگل و مایکروسافت که می‌خواهند از مدل‌ها به‌عنوان موتور جستجو استفاده کنند، حتی اگر با یک جواب غیرواقعی روبه‌رو شویم، مشکل بزرگی به‌وجود می‌آید. رفتار موردنیاز برای یک مدل زبان بزرگ به‌عنوان یک موتور جستجو، بسیار پیچیده‌تر از یک چت‌بات مخصوص سرگرمی است. ما باید بفهمیم که چگونه روی مرز بین این میزان کاربر مختلف حرکت کنیم و چیزی بسازیم که در طیف وسیعی از کاربردها برای مردم مفید باشد. این موضوع فشار بیشتری به ما وارد می‌کند؛ چون حالا می‌دانیم که درحال ساخت مدل‌هایی هستیم که به محصول تجاری تبدیل می‌شوند. ChatGPT یک محصول است و حالا API آن را داریم. ما درحال ساخت این فناوری همه‌کاره هستیم و باید مطمئن شویم که در همه زمینه‌ها به‌خوبی کار می‌کند. این موضوع یکی از چالش‌های کلیدی است که درحال‌حاضر با آن روبه‌رو هستیم.

​ جن لیک آگاروال:  ما مراحل پیش روی زیادی داریم. قطعاً فکر می‌کنم وایرال‌شدن ChatGPT باعث شد که بسیاری از مسائلی که می‌دانستیم بحرانی می‌شوند را در‌اسرع‌وقت حل کنیم. البته ما می‌دانیم که این مدل هنوز سوگیری دارد. اگرچه ChatGPT در رد درخواست‌های نامناسب عملکرد خوبی دارد، اما بازهم می‌توان محدودیت‌های آن را دور زد.

فدوس:  دیدن برنامه‌های متنوع و خلاقانه کاربران (برای استفاده از این چت‌بات) بسیار هیجان‌انگیز است، اما ما همیشه روی حوزه‌هایی تمرکز می‌کنیم که باید بهبود دهیم. فکر می‌کنیم از طریق یک فرایند تکراری شامل اجرا، دریافت بازخورد و اصلاح می‌توانیم هماهنگ‌ترین و توانمندترین فناوری را بسازیم. همان‌طور که تکنولوژی ما تکامل می‌یابد، بدون‌شک مسائل جدیدی هم ظهور می‌کنند. شولمن:  من میزانی را که مردم در مورد سیاست‌های ChatGPT تحقیق می‌کنند و به آن اهمیت می‌دهند، دست‌کم گرفته بودم. ما می‌توانستیم هنگام جمع‌آوری داده‌ها برای آموزش مدلمان تصمیمات بهتری بگیریم که این کار باعث کاهش مشکلاتمان می‌شد. اما حالا روی این موضوع کار می‌کنیم.

لیک:  از دیدگاه ما، ChatGPT شکست‌های زیادی داشته است و حال باید کارهای زیادی انجام دهیم. به‌نظر نمی‌رسد که مشکلات را برطرف کرده‌ایم. ما باید با خودمان و دیگران درباره محدودیت‌های فناوری کاملاً شفاف باشیم. منظورم این است مدل‌های زبانی مدتی است که وجود دارند، اما هنوز در اول راه قرار داریم. ما از تمام مشکلات آن‌ها خبر داریم و فکر می‌کنیم باید خیلی پیشرو باشیم، انتظارات را مدیریت کرده و همچنین این موضوع را روشن کنیم که با محصول نهایی روبه‌رو نیستیم.