استفاده از AI در جنگ باعث به وجود آمدن بزرگترین نبرد حقوقی میان Anthropic و پنتاگون شده است. این دعوای حقوقی و اخلاقی حالا فوریت پیدا کرده، چون هوش مصنوعی در جنگ علیه ایران بیش از هر زمان دیگری نقش دارد. هوش مصنوعی دیگر فقط به انسانها برای تحلیل اطلاعات کمک نمیکند. حالا خودش به یک بازیگر فعال تبدیل شده است، در لحظه هدف تولید میکند، رهگیری موشکها را کنترل و هماهنگ میکند، و دستههای مرگبار پهپادهای خودمختار را هدایت میکند.
یکی از محوریترین جدلها در بحث استفاده از سلاحهای مرگبار خودمختار و مبتنی بر هوش مصنوعی، حول این میچرخد که انسانها تا چه اندازه باید «در حلقه تصمیمگیری» باقی بمانند. طبق دستورالعملهای فعلی پنتاگون، نظارت انسانی دست کم در ظاهر قرار است زمینة پاسخگویی و ظرافت قضاوت را فراهم کند و همزمان خطر هک شدن را هم کاهش دهد.
خطر اصلی این نیست که ماشینها بدون نظارت انسان عمل کنند؛ خطر اصلی این است که ناظران انسانی اصلاً نمیدانند ماشینها واقعاً چه «فکری» میکنند!
سیستمهای هوش مصنوعی: جعبهسیاههای غیرشفاف
اما بحث نگه داشتن «انسان در حلقه» بیشتر شبیه یک حواسپرتی دلگرمکننده است. خطر اصلی این نیست که ماشینها بدون نظارت انسان عمل کنند؛ خطر اصلی این است که ناظران انسانی اصلاً نمیدانند ماشینها واقعاً چه «فکری» میکنند! دستورالعملهای پنتاگون از اساس معیوباند، چون بر این فرض خطرناک نوشته شدهاند که انسانها میفهمند سیستمهای هوش مصنوعی چگونه کار میکنند.
پس از دههها مطالعة قصد و نیت [۱] در مغز انسان و جدیدا هم در سیستمهای هوش مصنوعی، میتوانم بگویم پیشرفتهترین سیستمهای امروزی هم عملاً «جعبهسیاه» هستند. ما از ورودیها و خروجیهای سیستم آگاه هستیم، اما این «مغز» مصنوعی که آنها را پردازش میکند، برایمان مبهم و غیرشفاف است. حتی سازندگان این سیستمها هم نمیتوانند بهطور کامل آنها را تفسیر کنند یا بفهمند دقیقا چگونه کار میکنند. و وقتی هم که سیستمهای AI دلایلی ارائه میدهد، نمیتوان کاملا به آنها اعتماد کرد.
توهم نظارت انسانی در سیستمهای خودمختار
در بحث نظارت انسانی، یک سؤال بنیادی کاملا نادیده گرفته میشود، آیا قبل از اقدام یک سیستم هوش مصنوعی، میتوانیم بفهمیم قصد انجام چه کاری را دارد؟
سیستمهای پیشرفته عینا یک دستور را اجرا نمیکنند؛ بلکه در ابتدا آن دستور را برای خود تفسیر میکنند. فلذا اگر اپراتورها اهداف را با دقت کافی تعریف نکنند، که در شرایط پرفشار جنگی احتمال آن بسیار بالاتر هم میرود، سیستم جعبهسیاه ممکن است دقیقاً همان کاری را انجام دهد که به آن گفته شده، اما نه آنطور که انسانها منظورشان بوده است.
فرض کنید یک پهپاد خودمختار مأمور نابودی کارخانة مهمات دشمن شده است. سیستم فرماندهی و کنترل خودمختار تشخیص میدهد که بهترین هدف، سوله انبار مهمات است. این سیستم احتمال موفقیت مأموریت را ۹۲ درصد اعلام میکند، چون انفجارهای ثانویه مهمات داخل آن سوله کل تأسیسات و کارخانه را نابود خواهد کرد. اپراتور انسانی این هدف نظامی مشروع و نرخ موفقیت بالای عملیات را میبیند و دستور حمله هوایی را صادر میکند.
اما چیزی که اپراتور نمیداند این است که در محاسبات سیستم AI یک فاکتور پنهان هم وجود داشته: اینکه علاوه بر نابودی کارخانه، انفجارهای ثانویه به یک بیمارستان کودکان در نزدیکی کارخانه هم آسیبهای شدیدی وارد خواهد کرد. در نتیجه نیروهای امدادی تمرکز خود را روی بیمارستان میگذارند و کارخانه هم میسوزد و از بین میرود. برای هوش مصنوعی، این حداکثرسازی آسیب، یعنی به هدفی که به آن داده شده رسیده است. اما از نگاه انسان، چنین عملیاتی جنایت جنگی است، چون قوانین مربوط به حفاظت از غیرنظامیان را نقض میکند.
بنابراین نگه داشتن انسان در حلقة تصمیمگیری شاید آن محافظتی را که مردم تصور میکنند ایجاد نکند، چون انسان پیش از عمل، از نیت واقعی هوش مصنوعی خبر ندارد. سیستمهای پیشرفته عینا یک دستور را اجرا نمیکنند؛ بلکه در ابتدا آن دستور را برای خود تفسیر میکنند. فلذا اگر اپراتورها اهداف را با دقت کافی تعریف نکنند، که در شرایط پرفشار جنگی احتمال آن بسیار بالاتر هم میرود، سیستم جعبهسیاه ممکن است دقیقاً همان کاری را انجام دهد که به آن گفته شده، اما نه آنطور که انسانها منظورشان بوده است.
این «شکاف قصد و نیت» میان سیستمهای هوش مصنوعی و اپراتورهای انسانی دقیقاً همان دلیلی است که باعث شده در بهکارگیری سیستمهای AI جعبهسیاه پیشرفته در حوزههایی مثل پزشکی یا کنترل ترافیک هوایی تردید کنیم. حتی مسئله ادغام AI در محیطهای کار عادی هم همچنان نگرانکننده است، اما با این حال، داریم با عجله آن را وارد میدان جنگ میکنیم.
بدتر اینکه اگر یک طرف درگیری از سلاحهای کاملاً خودمختار استفاده کند، سلاحهایی که با سرعت و مقیاس بالای ماشینی عمل میکنند، فشار مقابله طرف مقابل را هم به استفاده از چنین سلاحهایی وادار میکند. به عبارتی استفاده از سیستمهای تصمیمگیری خودمختارتر و غیرشفافتر در جنگ، روز به روز بیشتر خواهد شد.
راهحل: پیشبرد علم قصد و نیت هوش مصنوعی
علم هوش مصنوعی باید دو بخش داشته باشد: هم ساخت فناوریهای بسیار توانمند و هم فهمیدن اینکه این فناوری چگونه کار میکند. پیشرفتهای عظیمی در توسعه مدلهای قدرتمندتر حاصل شده، با سرمایهگذاریهایی باورنکردنی که Gartner پیشبینی کرده فقط در سال ۲۰۲۶ به حدود ۲.۵ تریلیون دلار برسد. در مقابل، سرمایهگذاری برای فهمیدن سازوکار این فناوریها بسیار ناچیز بوده است.
ما به یک تغییر پارادایم اساسی نیاز داریم. مهندسان سیستمهایی هرچه تواناتر میسازند. اما فهمیدن اینکه این سیستمها چگونه کار میکنند فقط یک مسئله مهندسی نیست، به تلاش و مطالعة میانرشتهای نیاز دارد. باید ابزارهایی بسازیم که بتوانند نیت و مقصود عاملهای هوش مصنوعی را پیش از اقدام شناسایی، اندازهگیری و در آن مداخله کنند. باید مسیرهای درونی شبکههای عصبی محرک این عاملها را نقشهبرداری کنیم تا به فهم علّی واقعی از نحوه تصمیمگیری آنها برسیم، نه اینکه فقط تماشاچی ورودیها و خروجیها باشیم.
یکی از مسیرهای امیدوارکننده، ترکیب روشهای تفسیرپذیری مکانیکی [۲](شکستن شبکههای عصبی به اجزایی قابل فهم برای انسان) با بینشها، ابزارها و مدلهای علوم اعصاب قصد و نیت است. ایده دیگر، ساخت هوشهای مصنوعی شفاف و قابلتفسیرِ «حسابرس [۳]» است که رفتار و اهداف نوظهور سیستمهای جعبهسیاه قدرتمندتر را به صورت آنی زیر نظر بگیرند.
درک بهتر از نحوه عملکرد هوش مصنوعی به ما اجازه میدهد در کاربردهای حیاتی به این سیستمها تکیه کنیم. همچنین ساخت سیستمهایی کارآمدتر، توانمندتر و ایمنتر را آسانتر میکند.
من و همکارانم در حال بررسی این هستیم که چگونه ایدههایی از علوم اعصاب، علوم شناختی و فلسفه، حوزههایی که به مطالعة نحوة تاثیرگذاری نیت در شکلگیری تصمیمگیری انسان میپردازند، میتوانند به فهم نیت سیستمهای مصنوعی کمک کنند. باید به این نوع تلاشهای میانرشتهای اولویت بدهیم، از جمله افزایش همکاری میان دانشگاه، دولت و صنعت.
اما فقط پژوهش دانشگاهی کافی نیست. صنعت فناوری، و نیکوکارانی که پروژههای همراستایی [۴] هوش مصنوعی (تلاش برای وارد کردن ارزشها و اهداف انسانی به این مدلها) را تأمین مالی میکنند، باید سرمایهگذاریهای خود را به سمت پژوهش میانرشتهای در حوزه تفسیرپذیری هدایت کنند. افزون بر آن، همزمان با حرکت پنتاگون به سمت سیستمهای هرچه خودمختارتر، کنگره باید آزمایش دقیق قصد و نیت سیستمهای هوش مصنوعی را الزامی کند، نه فقط عملکردشان را.
تا وقتی به آن نقطه نرسیدهایم، نظارت انسانی بر هوش مصنوعی شاید بیشتر توهم باشد تا یک تضمین قابل اعتماد.
