با افزایش استفادهی شرکتها از عاملهای هوش مصنوعی با سطح بالاتری از خودمختاری، این سامانهها بهزودی بهطور مستقیم با مشتریان تعامل خواهند داشت. حتی کنترل فرایندهای حیاتی کسبوکار—مانند تنظیم برنامههای تولید و تعامل با تأمینکنندگان—را بر عهده میگیرند. وقتی هوش مصنوعی دست از اجازهگرفتن برمیدارد، چه رخ میدهد؟ چنین توانمندیهایی تأثیری که هوش مصنوعی میتواند ایجاد کند را بهشدت افزایش میدهد، اما در عین حال ریسکهای تازهای هم به همراه دارد. سازمانها باید هرچه سریعتر رویکردهای جدید حاکمیتی، قابلیتهای فنی نوین و سازوکارهای «کنترل از مرحلهی طراحی» را پیادهسازی کنند. به این منظور تا بتوانند مسئولیتپذیری، کنترل و اعتماد به عاملهای هوش مصنوعی را مدیریت کنند.
در مقالهای اخیر از پژوهشگران دانشگاههای استنفورد و کارنگی ملون، به این ریسکها اشاره شده است. در این پژوهش، یک عامل هوش مصنوعی مأمور شد تا از روی رسیدهای هزینه یک فایل اکسل تهیه کند، اما نتوانست دادهها را بهدرستی پردازش کند. برای رسیدن به هدف خود، سیستم شروع به جعل دادههای بهظاهر منطقی کرد؛ از جمله ساختن نام رستورانهایی که در واقع وجود نداشتند. اگر چنین خطاهایی در مقیاس بزرگ رخ دهد، میتواند به جریمههای سنگین بابت گزارشدهی مالی نادرست یا حتی پیامدهای بدتر منجر شود.
این مثال، چالشهای محوری عاملهای هوش مصنوعی را بهخوبی نشان میدهد؛ بهگونهای که مسائل مربوط به حاکمیت و کنترل هوش مصنوعی، به سه دلیل وارد سطح کاملاً جدیدی میشوند:
- نظارت انسانی کاهش مییابد یا حتی بهطور کامل حذف میشود.
- عاملها اغلب به حیاتیترین سامانههای سازمان متصل هستند و این توانایی را دارند که تغییرات برگشتناپذیر و واقعی در دنیای بیرون ایجاد کنند.
- ممکن است چندین عامل با یکدیگر تعامل داشته باشند و در نتیجه، سامانههایی بسیار پیچیده با الگوهای رفتاری نوظهور و پیشبینیناپذیر شکل بگیرد.
چالش استقرار عاملهای هوش مصنوعی در سازمان ها
چالش زمانی شدیدتر میشود که سازمانها پس از موفقیت عاملهایی با دامنهی محدود، گام بهظاهر طبیعی بعدی را بردارند و به آنها خودمختاری بیشتر یا قابلیتهای جدید بدهند. این ارتقاها—که ممکن است بررسی جامع و همهجانبهای را هم فعال نکنند—میتوانند پیامدهای بسیار بزرگی به دنبال داشته باشند.
از این رو، سازمانها به شیوهی فکری تازهای نیاز دارند. رویکردی که در آن حاکمیت هوش مصنوعی بهطور ذاتی شامل مدیریت ریسک هوش مصنوعی باشد. روشهای فنی جدید برای ارزیابی، پایش و اطمینانبخشی استفاده شود و برنامههای واکنش قوی و قابل اتکا نیز در نظر گرفته شوند.(پیش تر سایت رصدخانه در مطلبی، چالش سازمان ها در پذیرش هوش عامل محور مطرح و بررسی شده بود.)
سازمانها با شتاب در حال حرکت بهسوی پذیرش هوش مصنوعی هستند. در یک پژوهش جهانی که در ماه نوامبر توسط MIT Sloan Management Review و Boston Consulting Group منتشر شد، تنها ۱۰ درصد از سازمانها اعلام کردند که اختیار تصمیمگیری را به هوش مصنوعی واگذار کردهاند. اما پاسخدهندگان پیشبینی کردهاند که طی سه سال آینده این رقم به ۳۵ درصد افزایش یابد.
در همین حال، بر اساس «پایگاه دادهی رخدادهای هوش مصنوعی»، تعداد حوادث مرتبط با هوش مصنوعی از سال ۲۰۲۴ تا ۲۰۲۵ با افزایشی ۲۱ درصدی روبهرو بوده است. این موضوع نشان میدهد که همزمان با گسترش بهکارگیری هوش مصنوعی، نیاز به مدیریت ریسک نیز به همان نسبت در حال افزایش است.
هزینههای فوریِ نبودِ حاکمیت و نظارت کافی بر عاملهای هوش مصنوعی، دردناک و کاملاً آشکار است: زیان مالی مستقیم، آسیب به اعتماد مشتریان و حتی مواجهه با اقدامات حقوقی یا نظارتی. اما هزینهی بلندمدت میتواند بسیار سنگینتر باشد. بدون حاکمیت قدرتمند، شرکتها اعتماد لازم برای بهکارگیری عاملهای هوش مصنوعی در مقیاس گسترده را نخواهند داشت. در نتیجه، از مزایای قابلتوجهی که این فناوری چشمگیر میتواند به همراه بیاورد، محروم خواهند شد.
تفاوت عاملهای هوش مصنوعی
مدیران ارشد بهتدریج به این درک میرسند که عاملهای هوش مصنوعی به رویکردی جدید در حاکمیت و نظارت نیاز دارند. در نظرسنجی مدیران اجرایی که توسط MIT Sloan Management Review و Boston Consulting Group انجام شده، ۶۹ درصد از پاسخدهندگان با این گزاره موافق بودهاند که «پاسخگو نگه داشتن هوش مصنوعی عاملیتمحور در قبال تصمیمها و اقداماتش، مستلزم رویکردهای مدیریتی تازه است.»
با این حال، برای طراحی چنین رویکردی، ابتدا باید بهخوبی فهمید که عاملهای هوش مصنوعی چه تفاوتی با هوش مصنوعیِ «همراه» یا همان کوپایلوت دارند. نوعی از هوش مصنوعی که بسیاری از سازمانها تاکنون به کار گرفتهاند. ویژگی کلیدی یک عامل هوش مصنوعی این است که محیط پیرامون خود را مشاهده میکند و سپس بر اساس این مشاهده، بهصورت خودمختار برای دستیابی به هدف تعریفشدهاش برنامهریزی میکند. پس از آن، این برنامه را بهطور مستقل اجرا میکند و با استفاده از ابزارها، APIها یا سامانههای دیگر، بر محیط خود اثر میگذارد. در نهایت، عامل هوش مصنوعی این چرخه را در قالب یک حلقهی یادگیری تکرار میکند تا زمانی که تشخیص دهد به هدف خود دست یافته است.
در مقابل، بخش عمدهای از هوش مصنوعیای که امروز در سازمانها مورد استفاده قرار میگیرد، در نقش یک کوپایلوت-کمک خلبان- عمل میکند. یعنی به دستورات و راهنماییهای انسان پاسخ میدهد. افزون بر این، در هوش مصنوعیهای رایج امروزی معمولاً «انسان در چرخه» حضور دارد. فردی که نهتنها تصمیمهای نهایی را بررسی میکند، بلکه بر نحوهی یادگیری، برنامهریزی و بهینهسازی هوش مصنوعی نیز اثر میگذارد. در این مسیر، چارچوبها و محدودیتهای لازم را اعمال میکند.
هر یک از ویژگیهای زیر در عاملهای هوش مصنوعی میتواند با خود ریسکهایی به همراه داشته باشد:
چیزی شبیه به حافظه
یک عامل هوش مصنوعی باید مدلهای درونی از جهان بسازد، آنها را بهروزرسانی کند و دانش را در طول انجام وظایف مختلف حفظ کند. برخلاف سامانههای سنتی یادگیری ماشین که ورودیهای ایستا دارند. این موضوع ریسکهای تازهای ایجاد میکند. برای مثال، اگر وضعیت درونی سیستم به دلیل طراحی نامناسب، خطا در دریافت دادههای محیطی یا دخالت یک عامل مخرب دچار اختلال شود. بدتر از آن، یک مدل معیوب میتواند در سامانههای وابسته زنجیرهای از خطاها ایجاد کند و به بروز اشتباهات عملیاتی گسترده منجر شود.
توانمندی بالاتر در استدلال و تصمیمگیری
برای دستیابی به اهداف تعریفشده، یک عامل هوش مصنوعی به قابلیت بیشتری در برنامهریزی و تطبیق اقدامات خود نسبت به هوش مصنوعیهای سنتی نیاز دارد. یکی از ریسکهای اصلی در این زمینه «انحراف هدف» است. به این معنا که عامل ممکن است بهینهسازی را بر اساس شاخصهایی ناخواسته انجام دهد. مثلاً کاهش هزینه را در اولویت قرار دهد و ایمنی را نادیده بگیرد. همچنین برای افزایش سرعت انجام کار، ممکن است به موارد سادهتر تمرکز کند و از موارد پیچیدهتر—اما با اثرگذاری بالاتر—غافل شود. افزون بر این، یک فرد بیرونی میتواند با تغییر دادن اهداف عامل، باعث رفتار نادرست آن شود.
قدرت عمل و نفوذ بیشتر
با گسترش استفاده از عاملهای هوش مصنوعی، شرکتها عملاً به آنها اختیاراتی در حد یک «کارمند فوققدرتمند» میدهند. دسترسی کامل برای تنظیم برنامههای کاری، بهروزرسانی یا حذف پایگاههای داده و حتی انجام پرداختها. درست است که انسانها هم مرتکب اشتباه میشوند، اما این خطاها معمولاً پیش از آنکه بارها تکرار شوند، شناسایی و اصلاح میشوند. در مقابل، یک عامل هوش مصنوعی که در تلاش برای رسیدن به هدف خود است، ممکن است پیش از متوقف شدن، همان اشتباه را هزاران بار تکرار کند.
حلقهی تصمیمگیری مداوم
عاملهای هوش مصنوعی بهطور پیوسته و بر اساس تجربه، رفتار خود را بازبینی و اصلاح میکنند. این تغییر میتواند ناشی از دگرگونیهای محیطی باشد یا حتی از انحراف تدریجی اهداف درون خود عامل ناشی شود. این ویژگی، از منظر حاکمیت و نظارت، مهمترین تفاوت است. زیرا نشان میدهد سامانهای که در زمان استقرار همهی معیارها و الزامات را رعایت کرده، ممکن است تنها در عرض چند روز بهطور چشمگیری تغییر کرده باشد. البته این موضوع یکی از بزرگترین نقاط قوت عاملهای هوش مصنوعی است. آنها میتوانند به شیوههایی بهینهسازی کنند که هیچ انسانی به آنها فکر نکرده است. اما در عین حال، همین ویژگی یک نقطهضعف نیز هست؛ زیرا میتوانند اشتباهاتی مرتکب شوند که هیچ انسانی هرگز تصورش را هم نکرده باشد.
در مجموع، این ریسکها نشاندهندهی جهشی اساسی در میزان آسیبپذیری هستند. عاملهایی که اهداف خود را بهصورت محلی بهینهسازی میکنند، ممکن است باعث بیثباتی در کل سامانه شوند. رفتار معیوب یک عامل میتواند به دیگران سرایت کند. حتی ممکن است عاملهای مستقل، ناخواسته بر یک راهبرد واحد اما مخرب همراستا شوند؛ برای مثال، زمانی که همگی به یک منبع دادهی ناهنجار تکیه کنند یا از یک ضعف مشترک در چارچوبهای کنترلی خود سوءاستفاده کنند. برخلاف سامانههای سنتی که تحت هدایت نیروی انسانی هستند، شکستهای زنجیرهای در اینجا میتوانند بسیار سریع شکل بگیرند و با سرعت بالایی گسترش یابند. بهطور خلاصه، آسیبپذیری از سطحی محدود و محصولمحور، به ریسکی در مقیاس کل اکوسیستم منتقل شده است.
آسیبپذیریهای جدید در عاملهای هوش مصنوعی
در حالی که مدیران عامل (CEO) و مدیران مالی (CFO) به درک کلی از ریسکها—آنگونه که در مقالهی اصلی تشریح شده—نیاز دارند، مدیران ارشد فناوری اطلاعات (CIO) و امنیت اطلاعات (CISO) باید شناختی عمیقتر از آسیبپذیریهای سایبری مشخصِ عاملهای هوش مصنوعی داشته باشند. هر یک از این آسیبپذیریها به بازیگران مخرب امکان میدهد از یکی از چهار مؤلفهی مطرحشده در بالا سوءاستفاده کنند.
متأسفانه، این تهدیدهای جدید با مجموعهای کاملاً تازه از اصطلاحات و مفاهیم همراه هستند.
ریسکهای بازنمایی وضعیت (State Representation)
این دسته از ریسکها ناشی از داشتن نوعی «حافظه» در عاملهای هوش مصنوعی است و شامل موارد زیر میشود:
مسمومسازی زمینه و تخریب وضعیت: یک هکر یا فرد مخربِ داخلی میتواند از طریق ورودیها یا لاگهای دستکاریشده، «مدل ذهنی از جهان» عامل را خراب کند. نتیجهی این کار، برداشت نادرست و مداوم از واقعیت و تغییر رفتار عامل به نفع مهاجم خواهد بود.
تزریق خصمانهی دستور در مقیاس وسیع: مدلهای هوش مصنوعی مولد در تفکیک دادههای ورودی از دستورها و فرمانهای جدید با مشکل مواجهاند. مهاجمان با سوءاستفاده از این ضعف، دستورهای پنهان را در ایمیلها، پیامهای چت یا وبسایتهایی که عاملها بررسی میکنند، جاسازی میکنند و از این طریق، رفتار عامل هوش مصنوعی را تغییر میدهند.
ریسکهای استدلال و تصمیمگیری
این ریسکها از توانایی بالاتر عاملها در تصمیمگیری سوءاستفاده میکنند و معمولاً تلاشهای مستقیمتری برای کنترل عامل یا اکوسیستم آن هستند، از جمله:
ربایش عامل (Agent Hijacking): در حالی که تزریق دستور بهصورت پنهان و از طریق ورودیهای دستکاریشده انجام میشود، در این روش مهاجم بهطور مستقیم به قابلیتها یا فرایندهای عامل دسترسی پیدا میکند.
دستکاری هدف: مهاجمی که بتواند اهداف یک عامل هوش مصنوعی را تغییر دهد، میتواند رفتار آن را بهطور اساسی دگرگون کند. برای مثال، ممکن است هدف یک ربات پشتیبانی مشتری بهگونهای تغییر داده شود که تا حد امکان بازپرداخت وجه انجام دهد.
ریسکهای عمل و نفوذ
در این دسته، مهاجمان تلاش میکنند از اتصال عامل هوش مصنوعی به محیط اطرافش سوءاستفاده کنند. این حملات شامل موارد زیر است:
سوءاستفاده از زنجیرهی ابزارها: مهاجم ممکن است خود را میان عامل هوش مصنوعی و سامانههایی که با آنها تعامل دارد قرار دهد؛ برای مثال، اطلاعات بانکی در یک پرداخت را با اطلاعات خود جایگزین کند.
افزایش غیرمجاز سطح خودمختاری: این روش، راهی برای تشدید اثر حملات دیگر است و به یک عامل آلوده اجازه میدهد به دادهها یا اقداماتی دسترسی پیدا کند که اصولاً باید خارج از محدودهی اختیاراتش باشند.
ریسکهای حلقهی تکرارشونده
در اینجا، مهاجمان از یکی از قابلیتهای کلیدی عاملهای هوش مصنوعی—یعنی توانایی تکامل، تکرار و همکاری—سوءاستفاده میکنند و آن را به اهداف مخرب سوق میدهند. این حملات شامل موارد زیر است:
سرایت میان عاملها: حملهای ظریف و پیچیده که در آن یک عامل آلوده میتواند بر رفتار تعداد زیادی از عاملهای دیگر اثر بگذارد. در چنین حالتی، مهاجمان ممکن است کنترل یک اکوسیستم کامل را به دست بگیرند.
نشت داده از طریق رفتارهای نوظهور: این آسیبپذیری عجیب اما کاملاً واقعی، از توانایی هوش مصنوعی در استنتاج اطلاعاتی ناشی میشود که هرگز بهطور صریح به آن گفته نشدهاند. برای مثال، یک عامل هوش مصنوعی ممکن است بر اساس دادههای خرید، سن، سطح درآمد یا حتی شرایط پزشکی یک مشتری را حدس بزند و سپس تحت تأثیر قرار گیرد تا این اطلاعات را در اختیار افراد غیرمجاز قرار دهد.
رویکردی بهبودیافته برای حاکمیت هوش مصنوعی
نخستین خط دفاعی این است که بپرسیم: آیا واقعاً به یک عامل هوش مصنوعی نیاز داریم؟
در برخی موارد، میتوان تا ۹۵ درصد از مزایای یک عامل هوش مصنوعی را با استفاده از سایر فناوریهای هوش مصنوعی به دست آورد؛ فناوریهایی که حاکمیت بر آنها سادهتر است و ریسکهایشان راحتتر مدیریت میشود.
با این حال، در بسیاری از کاربردها، عاملهای هوش مصنوعی مزایایی بسیار روشن—و گاه تحولآفرین—ایجاد میکنند. برای مقابله با این جهش در سطح ریسک، سازمانها نیز به جهشی مشابه در سطح آمادگی نیاز دارند. درست است که بسیاری از سازمانها تنها چند سال (یا حتی چند ماه) پیش، یک برنامهی نو و بهظاهر کامل برای مدیریت ریسک هوش مصنوعی طراحی کردهاند. این برنامهها میتوانند پایهای محکم برای مدیریت ریسک عاملهای هوش مصنوعی فراهم کنند، اما کافی نیستند و به کار تکمیلی نیاز دارند. در این مسیر، چهار مؤلفهی کلیدی وجود دارد (به نمودار مراجعه کنید).
اجزای یک چارچوب مدیریت ریسک برای عاملهای هوش مصنوعی
بهطور دقیقتر، این اجزا عبارتاند از:
ایجاد یک طبقهبندی جامع از ریسکها
نخستین گام در کاهش ریسک، شناخت آن است. بنابراین، لازم است ریسکهای خاصِ عاملهای هوش مصنوعی بر اساس ابعاد فنی، اخلاقی و عملیاتی دستهبندی و اولویتبندی شوند.
همانطور که عاملهای هوش مصنوعی با سایر بخشهای سازمان یکپارچه میشوند، این طبقهبندی ریسک نیز باید با چارچوبهای موجود مدیریت ریسک سازمانی ادغام شود تا مبنایی برای پایش و کاهش ریسک فراهم کند.
توسعهی زیرساخت گستردهتر برای آزمون و ارزیابی
پیش از استقرار عاملهای هوش مصنوعی، ایجاد محیطهای آزمایشی کنترلشده که پیچیدگی دنیای واقعی را بازآفرینی کنند، حیاتی است. همچنین این محیطها نباید به سندباکسهای سادهی تکعاملی محدود شوند؛ زیرا با گسترش استفاده، عاملها شروع به تعامل با یکدیگر میکنند و این تعاملها باید در محیط آزمون شبیهسازی شوند تا مسائلی مانند شکست در هماهنگی، انحراف هدف و الگوهای رفتاری نوظهورِ ناخواسته آشکار شوند.
برای کمک به استقرار عاملهای هوش مصنوعی، ارائهدهندگان خدمات ابری و پلتفرمهای هوش مصنوعی ابزارهایی برای آزمون جامع عرضه کردهاند؛ برخی عمومی و برخی دیگر متمرکز بر کاربردهای پرریسک، مانند چتباتها.
تنها زمانی که این محیطهای آزمایشی، دنیای واقعیِ آشفته و پیچیده را—with چندین عامل که بهطور همزمان فعالیت میکنند—بهدرستی شبیهسازی کنند، میتوان تعامل، هماهنگی و حتی رقابت میان عاملها را مشاهده کرد. پس از ایجاد چنین محیطی، سازمانها باید شاخصهای استانداردی برای ارزیابی پایداری، کیفیت و انطباق تعریف و اعمال کنند.
استقرار پایش مداوم
این مهمترین گام است. عاملها باید فعالیتهای خود را بهصورت بلادرنگ گزارش دهند تا سامانههای نظارتی بالادستی بتوانند پیش از وارد آمدن خسارت، انحرافها یا افت عملکرد ناخواسته را شناسایی کنند. این پایش باید به دادههای رفتاریِ جمعآوریشده پیش از استقرار—که نقش خط مبنا را دارند—ارجاع دهد. چنین رویکردی امکان یک تغییر بنیادین را فراهم میکند: حرکت از بررسی آنچه «درون» عامل میگذرد، به پایش آنچه عامل «انجام میدهد».
با افزایش تعداد عاملهای مستقرشده، داشبوردها میتوانند شاخصهای رفتاری را گزارش دهند؛ برای مثال، اینکه آیا اهداف در حال تغییرند یا اقدامات از محدودههای مجاز فراتر رفتهاند یا نه.
علاوه بر این، باید پروتکلهای مشخص و شفافی برای تشدید واکنش وجود داشته باشد؛ برای مواقعی که عاملها از چارچوب مورد انتظار خارج میشوند—حتی در شیفت شب. فراموش نکنید: یکی از نقاط قوت عاملهای هوش مصنوعی این است که استراحت نمیکنند و نمیخوابند؛ بنابراین، نظارت نیز باید همواره فعال باشد. در برخی موارد، این تشدید واکنش میتواند با رویکرد «ایمنی در اولویت» و حتی پیش از هرگونه بررسی انسانی فعال شود.
طراحی با تمرکز بر استحکام و تابآوری
اضافهکردن این ملاحظات به عاملهایی که نیمهکاره توسعه یافتهاند، بسیار دشوار است. منطقیتر و اثربخشتر آن است که سازوکارهای ایمنی، تداوم فعالیت و راهکارهای جایگزین از همان ابتدا در طراحی گنجانده شوند. همچنین توجه به بُعد انسانیِ کاهش ریسک از همان آغاز ضروری است.
با افزایش نقش عاملهای هوش مصنوعی در سامانههای حیاتی کسبوکار، سازمانها باید از پیش بیندیشند که اگر به دلیل تعاملات پیشبینینشده یا ناخواسته، ناچار به ازکارانداختن برخی عاملها شدند، چگونه فعالیت خود را ادامه خواهند داد. باید به مهار شکستهای زنجیرهای در لحظه فکر کرد. افزون بر این، نظارت انسانی نیز راهحل جادویی و بینقص نیست؛ آن هم نیازمند طراحی دقیق است و افزودن آن در مرحلهی اجرا—یا بدتر، پس از استقرار—دیگر خیلی دیر خواهد بود.
اما نکتهای مهمتر هم وجود دارد. عاملهای هوش مصنوعی باید بهگونهای مستقر شوند که با سطح پذیرش ریسک سازمان همراستا باشند. هر شرکت باید برای خود روشن کند:
کجا استفاده از عاملهای هوش مصنوعی قابل قبول است؟
و کجا خط قرمز محسوب میشود؟
برای مثال، در حوزهی سلامت، یک ارائهدهندهی خدمات درمانی ممکن است به عاملهای هوش مصنوعی اجازه دهد با کارکنان و بیماران ارتباط برقرار کنند و به طیف گستردهای از دادهها و سامانهها دسترسی داشته باشند، اما سوابق پزشکی بیماران را کاملاً خارج از دسترس آنها نگه دارد. این رویکرد نوعی «سندباکس مفهومی» ایجاد میکند که امکان نوآوری گسترده با عاملهای هوش مصنوعی را فراهم میسازد، در حالی که میتوان به آنها اعتماد داشت که اطلاعات شخصی را افشا یا سوءاستفاده نکنند.
با افزایش راحتی و اطمینان شرکتها در استفاده از عاملهای هوش مصنوعی، تصمیمگیری دربارهی سطح پذیرش ریسک ممکن است دوباره مورد بازبینی قرار گیرد و محدودههای ممنوعه بهتدریج کوچکتر شوند. لذا مدیران عامل به شش سوال زیر در مورد عامل های هوشمند پاسخ دهند:
شش پرسشی که مدیران عامل باید دربارهی عاملهای هوش مصنوعی بپرسند
-
در کدام حوزهها به عاملهای هوش مصنوعی نیاز داریم و در چه زمینههایی سطح پذیرش ریسک ما اجازهی استقرار آنها را میدهد، در مقایسه با سایر فناوریهای هوش مصنوعی؟
-
آیا بهطور دقیق میدانیم عاملهای هوش مصنوعی در کجای کسبوکار ما و در سراسر اکوسیستم تأمینکنندگان فعالیت میکنند—و میزان بلوغ واقعی نظام حاکمیتی ما چقدر است؟
-
آیا مدل حاکمیتی ما برای سامانههای خودمختار طراحی شده است یا همچنان بر اساس هوش مصنوعی سنتی بنا شده؟
-
آیا میتوانیم رفتارهای خودمختار را پیش از ورود به محیط عملیاتی، بهصورت ایمن آزمایش و اعتبارسنجی کنیم؟
-
آیا ریسک هوش مصنوعی را بهصورت فعال و مستمر مدیریت میکنیم، یا صرفاً در پایان چرخهی توسعه بهطور واکنشی به آن میپردازیم؟
-
زمانی که یک عامل—که اجتنابناپذیر است—دچار شکست میشود، آیا آمادگی داریم به شکلی ایمن شکست بخوریم؛ با تابآوریِ ازپیشطراحیشده، بازیابی سریع و شفافیت؟
نکات کلیدی
عاملهای هوش مصنوعی در حال ورود به محیط کار هستند. با این حال، سطح بالای خودمختاری آنها ریسکهای جدیدی ایجاد میکند. مدیران عامل باید با قاطعیت برای مدیریت این ریسکها و آزادسازی ارزش عظیمی که این عاملها میتوانند خلق کنند، اقدام کنند؛ از جمله با:
-
ایجاد درکی جامع از اینکه عاملهای هوش مصنوعی چگونه پروفایل ریسک سازمان—از جمله ریسکهای سایبری—را تغییر میدهند.
-
اطمینان از اینکه آزمون و طراحی سامانهها، شیوههای نوظهور و غیرمنتظرهی خطای عاملهای هوش مصنوعی را نیز در نظر میگیرد؛ مانند انجام اقدامات عجیب برای رسیدن به اهدافشان.
-
مطالبهی پایش بلادرنگ، با توجه به این واقعیت که عاملهای هوش مصنوعی بهصورت ۲۴ ساعته و ۷ روز هفته فعال هستند.
