مقدمه

سوگیری الگوریتمی[۱] یکی از موضوعات مهم در اخلاق فضای مجازی است. در سوگیری الگوریتمی، خطای سیستمی و تکرارپذیر در برنامه‌نویسی رایانه‌ای منجر به بروز نتایج غیرواقعی و درنتیجه، بی‌عدالتی در بازنمایی طیف‌ها و گروه‌های مختلف می‌شود. با توجه به افزایش کاربرد هوش مصنوعی در زندگی روزمره، سوگیری الگوریتمی به‌خصوص زمانی‌که پای تصمیمات مهم در میان باشد می‌تواند منجر به عواقب ناخواسته‌ در گسترش شکاف‌های موجود و ایجاد اَشکال جدید شکاف شود. چنین شرایطی می‌تواند حاصل از خطا در مراحل مختلف طراحیِ برنامه‌های هوش مصنوعی مثل جمع‌آوری و بارگذاری داده، برنامه‌نویسی، و سلطه ذهن‌واره‌های اجتماعی باشد. بارزترین نمونه‌های نارضایتی ناشی از سوگیری الگوریتمی را باید در فرایندهای جذب نیرو، تشخیص چهره و تولیدات چندرسانه‌ای جست.[۲]

از اقسام رایج سوگیری الگوریتمی، سوگیری جنسیت‌محور[۳] است. این نوع سوگیری منجر به تشدید شکاف جنسیتی (به معنای بی‌عدالتی براساس جنسیت افراد) می‌شود. در سوگیری جنسیت‌محور، طراحی برنامه‌های کاربردی به‌صورتی است که عملاً برای زنان بی‌استفاده است یا نتایج نامطلوبی برای آنان در پی دارد. علت این امر، بی‌توجهی در لحاظ کردن فاکتورهای زنانه مانند پسندها و ترجیحات زنان، صدا، متوسط جثه، شکل و سایز اسکلت و صورت، و مشابه این در هنگام طراحی این برنامه‌هاست. از سوی دیگر، برخی صفات ثانویۀ زنانه همچون فرمان‌پذیری به‌صورتی در طراحی این برنامه‌ها لحاظ می‌شوند که بازتولیدکنندۀ ذهن‌واره‌های نامطلوبی همچون فرودستی این قشر در مشاغل و موقعیت‌های اجتماعی است.[۴] در این مطلب، به دو رویکرد عمده در شکاف‌های ناشی از سوگیری الگوریتمی در ارتباط با زنان، کودکان و اقلیت‌ها می‌پردازیم.

سوگیری سودگرایانه در برنامه‌های کاربردی شناخت عواطف

کیت کرافورد[۵] استاد دانشگاه یو‌سی‌ال‌ای[۶] و پژوهشگر هوش مصنوعی است. او معتقد است که هوش مصنوعی علاوه‌بر فناوری، از ابعاد اجتماعی نیز برخوردار است. به عقیدۀ او، سیستم‌های هوش مصنوعی نه ماشین‌هایی خنثی و بی‌طرف، بلکه برنامه‌های اشباع‌شده از ذهن‌واره‌ها و برساخت‌های سیاسی، اجتماعی و فرهنگی هستند. کرافورد با تمرکز بر سوگیری الگوریتمی هوش مصنوعی، به سراغ برنامه‌های تشخیصِ عواطف رفته و لطمات این فناوری برای گروه‌های آسیب‌پذیر مثل کودکان را برملا می‌کند. او برای مواجهه با بی‌عدالتیِ ناشی از این فناوری تأکید می‌کند که علاوه‌بر کیفیت و فرایند جمع‌آوریِ داده یا دقت الگوریتمی، بسترهای فرهنگی و اجتماعی که هوش مصنوعی در آن رشد می‌کند نیز نیازمند اصلاح ساختاری است. بنابراین، کرافورد طرفدارِ ایجادِ کدهای اخلاقی برای تنظیم رفتار هوش مصنوعی و رفع سوگیری‌های ناشی از آن است.

کرافورد در سال ۲۰۲۱ و در بحبوحۀ همه‌گیری کرونا با انتشار مقاله‌ای در نشریۀ Nature[۷]، به‌سراغ ابعاد بیولوژیک برنامه‌های تشخیص عواطف رفت و ادعای آنها درباره تشخیصِ حالات چهره را زیر سؤال برد. در این دوره، برنامه‌های کاربردی مثل 4 Little Trees با ادعای شناسایی حالات و عواطف کودکان در حین مطالعۀ برخط و حتی ادعای پیش‌بینی نمرات آن‌ها، وارد بازار شدند. در آن زمان پیش‌بینی می‌شد که سود بازار این محصولات تا سال ۲۰۲۶ به ۳۷ میلیارد دلار برسد. کرافورد با استناد به یافته‌های افرادی چون روزالیند پیکارد[۸]، هم‌بنیانگذار استارت‌آپ هوش مصنوعی Affectiva در ام‌آی‌تی، و نیز مطالبۀ مردمی «انستیتو آدا لاولیس[۹]» در لندن، بر جنبه‌های اخلاقی هوش مصنوعی تأکید کرد و ضرورت ایجاد یک سازمان حقوقی مستقل برای نظارت بر فناوری زیستی را یادآور شد. 

او برنامه‌های تشخیص چهره را «اقداماتی جمجمه‌شناسانه[۱۰]» خواند که با طرح یک‌سری مفروضات غلط، ادعا می‌کنند بین درونیات فرد و حالات چهرۀ او ارتباط مستقیم وجود دارد. به‌عبارتی، از نظر او همان مقررات دولتی که برای تنظیم ارتباط بین فناوری و بدن وجود دارند، برای نظارت بر ارتباط فناوری و ذهن نیز ضروری است. او با ارجاع به پرونده‌های حقوقی و کلینیکی، فاش کرد که برنامه‌های هوش مصنوعی با ادعای خوانش و تفسیر عواطف و احساسات از روی چهره، گروه‌های مختلف ازجمله کودکان را در معرض آسیب‌ قرار می‌دهند. 

کرافورد تبارِ برنامه‌های تشخیص عواطف را فناوری دروغ‌سنج[۱۱] دهۀ ۱۹۲۰ می‌داند که برای ده‌ها سال اف‌بی‌آی و ارتش آمریکا را در شناسایی مجرمین به اشتباه انداخت. این فناوری بالاخره در پایان دهۀ ۱۹۹۰ با حکم دیوان عالی این کشور ناکارآمد تشخیص داده شد و کنار گذاشته شد. کرافورد در اثر دیگری که «اطلس هوش مصنوعی[۱۲]» نام دارد، فاش می‌کند که مبنای فناوری‌های تشخیص چهره و عواطف، نظریۀ پال اکمان[۱۳] در دهۀ ۱۹۶۰ است. اکمان ادعا می‌کرد که برخی حالات و عواطف چهره در جهان مشترک و در تمامی نژادها یکسان است. این ایده توسط مارگارت مید[۱۴] (مردم‌شناس) نقد شد چراکه به‌وضوح تفاوت‌های فرهنگی و نژادی را در حالات و چهرۀ افراد نادیده می‌گیرد. شاخص‌های شش‌گانۀ اکمان بعد از واقعۀ ۱۱ سپتامبر برای تشخیص حالت ترس و اضطراب مسافران هواپیماها به‌منظور شناسایی «تروریست‌ها» به «دفتر امنیت حمل‌ونقل آمریکا[۱۵]» فروخته شد.  این در حالی است که تا این لحظه شواهدی دال بر صحت این شاخص‌ها یافت نشده است. کرافورد چنین توصیه کرده است:

زمان آن رسیده است که درمقابل کاربردهای اثبات‌نشدۀ این برنامه‌ها در تمامی حوزه‌ها اعم از آموزش، سلامت، استخدام، و دادگاه‌ها، مقرراتی وضع شود. این کار در کمترین حالت حیثیت علم را برمی‌گرداند و روش‌ تشخیص درونیات از روی چهره و ظاهر را بی‌اعتبار می‌کند.

«هوش مصنوعی! من زن نیستم؟»: سوگیری الگوریتمی جنسیت‌محورِ نژادپرستانه

ممکن است به نظر برسد که تنها چارچوب ذهنی برای درک تلاقی زنان با فضای مجازی، نظریۀ فمنیستی است. «فمنیسم سایبر» به برخی ابعاد حیات مجازی زنان مانند امنیت مجازی، قلدری سایبر، توسعۀ کسب‌وکارهای منعطف، ارتقای بازنمایی، افزایش کنشگری و نظیر این پرداخته است. اما در پاسخ به فمنیسم سایبر جریان‌های فکری مختلف دیگری به مطالعۀ تلاقی زن و فضای مجازی پرداخته‌اند که یکی از جدیدترینِ آن‌ها نظریۀ سوگیری الگوریتمیِ جنسیت‌محور است. 

اولین «کنوانسون حقوق زنان[۱۶]» در سال ۱۸۴۸ در نیویورک برگزار شد و فعالیت سازمانی فمنیسم عملاً از این زمان متولد شد. سه‌ سال بعد یعنی در ۱۸۵۱، زمانی که دومین «کنوانسیون زنان[۱۷]» در اوهایو برگزار می‌شد، یک زن سیاه‌پوست و بردۀ سابق، معروف به سجورنر تروث[۱۸]، با حضور در این نشست سخنرانی تاریخی خود با نام «من زن نیستم؟[۱۹]» را ایراد کرد. این سخنرانی به‌دلیل اهمیت موضوع و گیرایی آن به بیانیه‌ای تاریخی در محکومیت برده‌داری و نقدِ نژادپرستیِ فمنیسم تبدیل شد.  

جوی بولاموینی[۲۰] که لقب «شاعر کدنویس» را به خود داده، دانش‌آموختۀ سیاه‌پوستِ دانشگاه ام‌آی‌تی[۲۱] است که همچون کرافورد به مضامین اجتماعیِ هوش مصنوعی می‌پردازد. او بنیان‌گذار «لیگ عدالت الگوریتمی[۲۲]» است و تدتاکِ او دربارۀ سوگیری الگوریتمی بیش از یک میلیون بازدیدکننده داشته است. او در فروم جهانی اقتصاد[۲۳]، سازمان ملل و اتحادیۀ اروپا به ارائۀ دیدگاه‌های خود دربارۀ سوگیری الگوریتمی و راهکارهای کنترل آسیب‌های هوش مصنوعی پرداخته و مطالبی در مجلۀ تایمز و روزنامۀ نیویورک تایمز منتشر کرده است. 

بولاموینی استعارۀ «هوش مصنوعی! من زن نیستم؟» را زمانی به‌ کار برد که متوجه تبعیض دولایه علیه زنان رنگین‌پوست در هوش مصنوعی شد. به عبارتی، او دریافت که هوش مصنوعی علاوه‌برآنکه نسبت به زنان سوگیری دارد، در یک مرحلۀ مجزّا نیز نسبت به افراد رنگین‌پوست دچار سوگیری است. او در ۲۵سالگی یک برنامۀ رایانه‌ای تهیه و نصب کرد تا حرکات سر و صورت خود را روی تنیس‌باز محبوبش «سرنا ویلیامز» پیاده کند. اما متوجه شد که برنامه، حرکات سر و چهرۀ او را شناسایی نمی‌کند مگر اینکه ماسک سفیدی روی چهره‌اش قرار دهد. 

بولاموینی در رسالۀ دکتری خود با عنوان «سایه‌های جنسیت: ارزیابی متقاطع رخ‌نمود و جمعیت‌شناختی داده‌های چهره و دسته‌بندی‌های جنسیت[۲۴]» بعد از تحلیل داده‌های جمعیت‌شناختی (با تأکید بر متغیرهای جنسیت و نژاد) در شاخص تشخیص چهرۀ دولت آمریکا موسوم به IJB-A و شاخص رده‌بندی جنسیت موسوم به Adience، آن‌ها را ناکافی و ناکارآمد ارزیابی کرد. سپس، شاخص‌های جایگزین که قادر به تهیۀ تصاویر چهرۀ گویاتر به‌منظور رفع این سوگیری باشد را موسوم به  Pilot Parliaments Benchmark (PPB) طراحی و عرضه کرد. درنهایت، براساس این شاخص‌ها، سیستم تشخیص چهرۀ شرکت‌های آی‌بی‌ام، مایکروسافت، و Face++ که مبتنی‌بر داده‌های دو پایگاه قبلی هستند را در زمینه‌های جنسیت، رنگ پوست و تقاطع هردو بررسی کرد.

طبق یافته‌های او، تنها ۲۴.۶درصد از داده‌های چهره‌شناسی IJB-A متعلق به زنان و ۴.۴درصد متعلق به زنان رنگین‌پوست است، درحالی‌که ۵۹.۴درصد از این داده‌ها مربوط‌ به مردان دارای پوست روشن است. از سویی، Adience اگرچه نرخ بیشتری (۵۲درصد) از بانک داده‌های مربوط به چهره‌های زنان دارد، اما اینجا هم داده‌های زنان رنگین‌پوست تنها ۱۳.۷۶درصد است. بنابراین، شکاف جنسیتی در بازنمایی داده‌های مربوط به زنان در این دو پایگاه، به‌ترتیب ۹ و ۲۰ درصد و شکاف جنسیتی-نژادی به‌ترتیب ۱۰ تا ۲۱ درصد است. لذا مردان سفیدپوست بیشترین بازنمایی و زنان رنگین‌پوست کمترین بازنمایی را در داده‌های این دو پایگاه به‌ خود اختصاص می‌دهند. بولاموینی با جمع‌آوری داده‌های ۴۰ کشور مختلف، اشاره می‌کند:

زنان رنگین‌پوست ۳۲ بار بیشتر از مردان سفیدپوست در معرض خطای تشخیص چهره قرار دارند. برای رفع این شکاف، علاوه‌بر افزایش داده‌های مربوط به زنان، داده‌های مربوط به زنان رنگین‌پوست باید به‌طور ویژه افزایش یابد. به بیان دیگر، برای افزایش دقت الگوهای رایانه‌ای تشخیص چهره می‌باید حداقل چهار دسته داده‌ جمع‌آوری کنیم: زنان رنگین‌پوست، زنان سفیدپوست، مردان رنگین‌پوست، مردان سفیدپوست.

بولاموینی در مطالعات بعدی خود به خطای هوش مصنوعی در شناسایی چهرۀ زنان دیگری مانند اوپرا وینفری و میشل اوباما نیز پرداخت. او  نشان داد که طراحی برنامه‌های شناسایی چهره به‌طور سوگیرانه‌آی براساس چهرۀ مردان سفیدپوست انجام می‌شود و به این‌ ترتیب، بی‌طرفی نژادی و جنسیتیِ هوش مصنوعی را زیر سؤال برد. از نظر او، در نبود قوانین و مقررات تنظیمی، سوگیری نژادی و جنسیتی هوش مصنوعی در مواردی مثل تجویز درمانی، شناسایی و دستگیری مجرم، استخدام و مانند این‌ها می‌تواند عواقب خطرناک و بعضاً مرگباری در پی داشته باشد.

نتیجه‌گیری

پژوهشگران سوگیری الگوریتمی در حوزۀ جنسیت با اشاره به مصادیق آسیب‌های ناشی از بی‌نظارتیِ این حوزه ازجمله برنامه‌های تشخیص چهره، و با تأکید بر پیامدهای آن در حوزه‌های سلامت، آموزش، اشتغال و حقوق جزا، بر ضرورت تنظیم مقررات شرکت‌های سازندۀ این برنامه‌ها تأکید می‌کنند. متغیرهای جمعیتی متعددی ازجمله نژاد، قومیت، جنسیت، سن و مذهب در طراحی و کدنویسی این برنامه‌ها مؤثر هستند که شاید شناسایی کامل همۀ آن‌ها غیرممکن باشد. اما مسلّماً گروه‌های آسیب‌پذیر ازجمله کودکان و اقلیت‌های دینی و نژادی می‌توانند به‌طورخاص درمقابل خطاهای الگوریتمی بی‌دفاع باشند. اشکال در بازنمایی اقلیت‌های مختلف ازجمله زنان و رنگین‌پوستان در رشته‌ها و مشاغل صنعت هوش مصنوعی یکی از دلایل اصلیِ بروز سوگیری الگوریتمی است. به همین دلیل، مطالعۀ این برنامه‌ها بستر جدیدی برای طرح نقدهای اجتماعی ایجاد کرده است که با توسعۀ فضای مجازی ابعاد تازه‌ای می‌یابند و رسیدگی به آن‌ها می‌تواند نیازمند تعریف پروتکل‌های محلی، ملی و بین‌المللی باشد.