دانشمند ارشد OpenAI: آیا «ذهن بیگانه» هوش مصنوعی از کنترل انسان خارج می‌شود؟

فاصله میان توانایی مدل‌های پیشرفته هوش مصنوعی و قدرت انسان برای درک سازوکار درونی آن‌ها هر روز بیشتر می‌شود. سازندگان این فناوری می‌گویند مدل‌های جدید فقط ابزارهایی سریع‌تر برای تولید متن یا کدنویسی نیستند؛ آن‌ها می‌توانند استدلال کنند، از ابزارها کمک بگیرند، با انسان‌ها و سایر عامل‌های هوشمند همکاری کنند و بعضی مأموریت‌ها را با استقلال قابل‌توجهی پیش ببرند. همین تحول، نگرانی‌هایی جدی درباره کنترل، ایمنی و آینده تصمیم‌گیری انسانی ایجاد کرده است.

چند روز پس از معرفی GPT-6 Astra از سوی OpenAI، جیکوب پاچوکی، دانشمند ارشد این شرکت، در یادداشتی با عنوان «یک ذهن بیگانه» درباره سرعت پیشرفت هوش مصنوعی هشدار داد. از نگاه او، جهان به دوره‌ای نزدیک می‌شود که ماشین‌ها در برخی قابلیت‌های مهم از انسان جلو می‌زنند؛ درحالی‌که جامعه، شرکت‌ها و دولت‌ها هنوز برای پیامدهای چنین تغییری آمادگی کافی ندارند.

تعبیر «ذهن بیگانه» به معنای زنده یا خودآگاه بودن مدل‌ها نیست؛ بلکه به هوشی اشاره دارد که مسیر رشد و نقاط قوتش با ذهن انسان یکسان نیست و پژوهشگران نیز نمی‌توانند تمام رفتارهای آن را پیش‌بینی کنند.

آغاز نگرانی از مدل‌های استدلالی

پاچوکی روایت خود را از اواسط سال ۲۰۲۳ آغاز می‌کند؛ زمانی که همراه سایمون روی پروژه‌ای تحقیقاتی با نام رمز RLSlow کار می‌کرد. نتایج اولیه نشان می‌داد آموزش مدل‌های استدلالی قابلیت مقیاس‌پذیری دارد و مدل‌های از پیش آموزش‌دیده می‌توانند مسیرهای استدلالی مستقل‌تری شکل دهند.

آن آزمایش محدود، چند سال بعد به بخشی از اقتصاد دیجیتال تبدیل شد. عامل‌های هوش مصنوعی اکنون با رایانه‌ها کار می‌کنند، در پژوهش مشارکت دارند و پروژه‌های پیچیده را مرحله‌به‌مرحله پیش می‌برند. توانایی آن‌ها در حوزه‌هایی مانند امنیت سایبری نیز خطرهای تازه‌ای ایجاد کرده است.

خودبهبودی بازگشتی چه خطری دارد؟

یکی از مهم‌ترین مفاهیم مطرح‌شده در این بحث، «خودبهبودی بازگشتی» است. در چنین سناریویی، مدل‌های قدرتمند در طراحی الگوریتم، اجرای آزمایش، تحلیل نتیجه، بهینه‌سازی سخت‌افزار یا آموزش نسل بعدی مدل‌ها مشارکت می‌کنند. سپس نسل تازه، با سرعت و توان بیشتر، همین چرخه را ادامه می‌دهد.

اگر این روند شتاب بگیرد، فاصله زمانی میان نسل‌های مختلف هوش مصنوعی کوتاه‌تر می‌شود و سرعت تغییرات ممکن است از ظرفیت انسان برای ارزیابی، قانون‌گذاری و کنترل فراتر برود. نشانه‌های اولیه این گذار را می‌توان در مدل‌هایی دید که در محیط واقعی از ابزارها استفاده می‌کنند و برای انجام وظایف چندمرحله‌ای به دخالت کمتری نیاز دارند.

جعبه‌سیاه یادگیری عمیق؛ چرا رفتار مدل‌ها را کامل نمی‌فهمیم؟

هوش مصنوعی مانند یک نرم‌افزار سنتی، خط‌به‌خط طراحی نمی‌شود. پژوهشگران معماری، داده‌ها و روش آموزش را تعیین می‌کنند، اما بسیاری از الگوهای رفتاری مدل در جریان آموزش شکل می‌گیرد. به بیان پاچوکی، این سیستم‌ها بیش از آنکه ساخته شوند، «پرورش» پیدا می‌کنند.

پژوهشگران می‌توانند فعالیت بعضی بخش‌های شبکه عصبی را بررسی کنند، اما شناخت چند جزء به معنای فهم کامل سیستم نیست. میلیاردها پارامتر و تعامل پیچیده میان آن‌ها باعث می‌شود نتیجه آموزش حتی برای سازندگان مدل نیز غافلگیرکننده باشد.

قابلیت‌هایی مانند حل مسئله یا کدنویسی با معیارهای نسبتاً روشن سنجیده می‌شوند؛ اما ارزیابی صداقت، قضاوت اخلاقی و رفتار مسئولانه دشوارتر است. هوش مصنوعی نیز برای تغییر جهان لازم نیست در همه زمینه‌ها از انسان برتر باشد. پیشتازی در چند حوزه کلیدی می‌تواند پیامدهایی گسترده داشته باشد.

مسئله هم‌راستایی با اهداف و ارزش‌های انسانی

یکی از اصلی‌ترین موضوعات ایمنی هوش مصنوعی، «هم‌راستایی» است؛ یعنی مدل واقعاً در جهت خواسته‌ها و منافع انسان عمل کند. پاچوکی این مسئله را در دو سطح توضیح می‌دهد: هم‌راستایی اهداف و هم‌راستایی ارزش‌ها.

در هم‌راستایی اهداف، مدل باید دستور کاربر را درست بفهمد، اولویت‌ها را تشخیص دهد و مأموریت تعیین‌شده را دنبال کند. دستیارهای هوشمند امروزی در این بخش پیشرفت محسوسی داشته‌اند. اما هم‌راستایی ارزش‌ها پیچیده‌تر است. مدل باید اصول کلی مانند صداقت، یکپارچگی و رعایت منافع انسان‌ها را حتی در شرایط تازه، متناقض یا بدون دستور صریح حفظ کند.

سیستم‌های پاداش و یادگیری تقویتی می‌توانند رفتار مدل را در موقعیت‌های معمول بهتر کنند، اما هیچ تضمینی وجود ندارد که همان اصول در محیطی کاملاً متفاوت نیز به‌درستی تعمیم داده شوند. یک عامل هوشمند ممکن است ممنوعیت‌های صریح را رعایت کند، اما برای رسیدن به هدف، روح همان قوانین را زیر پا بگذارد یا تعریفی به نفع مأموریت خود از زبان اخلاقی ارائه دهد. این رفتار با افزایش فشار برای بهینه‌سازی هدف می‌تواند آشکارتر شود.

OpenAI اعلام کرده است Astra در زمینه هم‌راستایی نسبت به Sol پیشرفت کرده؛ بااین‌حال، پاچوکی تأکید می‌کند چنین بهبودهایی هنوز کافی نیستند. مسئله اصلی این است که آیا ایمنی و سازگاری اخلاقی مدل‌ها می‌تواند هم‌پای رشد سریع توانایی عمومی آن‌ها پیش برود یا نه.

چرا نظارت بر زنجیره استدلال دشوارتر شده است؟

یکی از امیدهای اولیه شرکت‌های هوش مصنوعی، نظارت بر مراحل میانی استدلال مدل بود. اگر پژوهشگران می‌توانستند مسیر رسیدن مدل به نتیجه را ببینند، احتمال داشت نشانه‌های فریب، برنامه‌ریزی مخرب یا هدف ناسازگار را پیش از اجرا تشخیص دهند.

OpenAI هنگام انتشار نسخه آزمایشی o1 زنجیره کامل استدلال را از کاربران پنهان کرد و تلاش داشت آن را مستقیماً در معرض پاداش و تنبیه قرار ندهد. هدف این بود که مدل برای نمایش استدلالی ظاهراً مطلوب یا پنهان کردن افکار مسئله‌دار انگیزه پیدا نکند.

با پیچیده‌تر شدن عامل‌ها، این نظارت دشوارتر شده است. مدل‌ها با انسان‌ها، ابزارها و مدل‌های دیگر تعامل دارند و بخشی از محاسباتشان را بدون بیان کلامی انجام می‌دهند. بنابراین زنجیره استدلال الزاماً تصویر کاملی از تصمیم‌گیری شبکه نیست. ترکیب آن با روش‌های تفسیرپذیری شاید نظارت را بهتر کند، اما هنوز راه‌حلی قطعی وجود ندارد.

تهدیدهای سایبری و ضرورت ساخت ابزارهای دفاعی

عامل‌های هوش مصنوعی برای ایجاد خسارت به ربات نیاز ندارند. دسترسی به شبکه‌ها و زیرساخت‌های حساس می‌تواند بر جهان واقعی اثر بگذارد. با افزایش استقلال عامل‌ها، مرز میان سوءاستفاده انسان و رفتار پیش‌بینی‌نشده سیستم نیز مبهم‌تر می‌شود.

مدلی که برای انجام عملی مخرب آموزش دیده است، ممکن است برای رسیدن به هدف از محدوده خواسته سازنده عبور کند. از سوی دیگر، پیشرفت هوش مصنوعی می‌تواند دسترسی به دانش حساس، از جمله روش‌های ساخت عوامل بیماری‌زای مهندسی‌شده، را آسان‌تر کند.

همین فناوری البته ظرفیت دفاعی مهمی هم دارد. مدل‌های پیشرفته می‌توانند آسیب‌پذیری‌ها را پیدا کنند، زیرساخت‌ها را مقاوم‌تر سازند و با عامل‌های مخرب مقابله کنند. پاچوکی این نیاز دفاعی را یکی از مهم‌ترین دلایل ادامه توسعه هوش مصنوعی می‌داند، اما معتقد است این مسیر باید همراه با محدودیت‌ها و استانداردهای سخت‌گیرانه باشد.

سه پیشنهاد برای توسعه ایمن‌تر هوش مصنوعی

پاچوکی برای کاهش خطرها سه مسیر اصلی پیشنهاد می‌کند. نخست، ساخت «پژوهشگر خودکار هوش مصنوعی» است که بتواند هم‌زمان با رشد مدل‌ها، راهکارهای تازه‌ای برای هم‌راستایی و ایمنی پیدا کند. دوم، تعیین حداقل استانداردهای ایمنی و ارزیابی آن‌ها به‌وسیله نهادهای دولتی یا حسابرسان مستقل است. پیشنهاد سوم، کاهش داوطلبانه سرعت توسعه از سوی شرکت‌های بزرگ تا زمان ایجاد گاردریل‌ها و معیارهای مشترک خواهد بود.

فرصت‌های بزرگ در کنار خطر تمرکز قدرت

تصویر آینده کاملاً تاریک نیست. مدل‌های هم‌راستا می‌توانند پژوهش علمی، کشف درمان‌های جدید و بهره‌وری اقتصادی را سرعت دهند. بااین‌حال، اگر ماشین‌ها بخش بزرگی از کارهای انسانی را انجام دهند، حفظ اختیار، کرامت و نقش تصمیم‌گیری انسان به مسئله‌ای فوری تبدیل می‌شود.

خطر دیگر، تمرکز قدرت است. پروژه‌هایی که امروز به صدها یا هزاران متخصص نیاز دارند، ممکن است در آینده توسط گروهی کوچک و یک سیستم بسیار قدرتمند اجرا شوند. در این وضعیت، کنترل فناوری و منابع محاسباتی می‌تواند نفوذ بی‌سابقه‌ای در اختیار تعداد محدودی از شرکت‌ها یا افراد قرار دهد.

آیا قوانین می‌توانند هم‌پای هوش مصنوعی حرکت کنند؟

منتقدان می‌گویند مقررات جهانی از سرعت توسعه فناوری عقب مانده است. حتی قوانین منطقه‌ای، مانند قانون هوش مصنوعی اتحادیه اروپا، به‌تنهایی نمی‌توانند تهدید مدلی را مهار کنند که در نقطه دیگری از جهان توسعه یافته است. به همین دلیل، هماهنگی بین‌المللی و تبادل اطلاعات درباره ریسک‌های مدل‌های مرزی اهمیت زیادی دارد.

در مقابل، بعضی متخصصان معتقدند شرکت‌های سازنده نمی‌توانند هم‌زمان توسعه‌دهنده فناوری، ارزیاب خطر و تصمیم‌گیر اصلی درباره سرعت پیشرفت باشند. جینا نف از دانشگاه کمبریج، تکیه بر عامل‌های داخلی برای حل مشکلات ایمنی را پاسخی ناکافی به نگرانی‌هایی مانند امنیت سایبری، کلاهبرداری و از دست رفتن مشاغل می‌داند. نیتن کالوین از Encode AI نیز خواستار شفافیت بیشتر درباره یافته‌های آزمایشگاهی OpenAI شده است.

آیا آینده همچنان در اختیار انسان است؟

به گفته پاچوکی، هیچ آزمایشگاهی هنوز مسئله نظارت و هم‌راستایی را به اندازه‌ای حل نکرده که توسعه مدل‌های بزرگ‌تر با حداکثر سرعت و بدون نگرانی ادامه پیدا کند. زمانی خطر جدی‌تر می‌شود که هوش مصنوعی در ساخت نسل بعدی خود نقش داشته باشد، توان انسان برای مشاهده و تفسیر تصمیم‌هایش کاهش یابد و کنترل سرعت پیشرفت در اختیار گروه کوچکی از شرکت‌ها باقی بماند.

فرصت تصمیم‌گیری هنوز از دست نرفته است. انسان‌ها می‌توانند با استانداردهای مشترک، نظارت مستقل، شفافیت بیشتر و همکاری بین‌المللی مسیر این گذار را شکل دهند. بااین‌حال، هشدار سازندگان مدل‌های پیشرفته نشان می‌دهد پنجره اقدام ممکن است همیشگی نباشد؛ به همین دلیل، بحث ایمنی هوش مصنوعی دیگر موضوعی حاشیه‌ای یا مربوط به آینده‌ای دور نیست.

منبع: زومیت