هوش مصنوعی سایه
هوش مصنوعی سایه (Shadow AI): زنگ بیدارباشی از سوی مدیر ارشد امنیت Okta
چند روز پیش با «هریش پری» (Harish Peri)، معاون ارشد و مدیرکل امنیت هوش مصنوعی در Okta، گفتوگویی داشتم که واقعاً من را نگران کرد. نه به شکلی نمایشی، بلکه از آن جنس نگرانیهای آرام و عمیق که وقتی متوجه میشوید در حالی که شیفته وعدههای درخشان تحول هوش مصنوعی بودهاید، یک مسئله بنیادین را نادیده گرفتهاید. همه ما مجذوب انقلاب «هوش مصنوعی عاملی» (Agentic AI) شدهایم. بارها درباره فرصتهای آن صحبت کردهایم—افزایش بهرهوری، جهش بزرگ در اتوماسیون، و آینده کار. اما در جریان گفتوگو با هریش، به این نتیجه رسیدم که آنقدر بر این تمرکز کردهایم که عاملها چه کارهایی میتوانند برای ما انجام دهند، که از این غافل شدهایم چه کارهایی میتوانند علیه ما انجام دهند.
واقعیت ۵۰ به ۱ که هیچکس برایش آماده نیست
«Shadow IT» را به یاد دارید؟ همان چالش یک دهه پیش که کارکنان بدون مجوز از ابزارهای SaaS استفاده میکردند؟ اکنون با پدیدهای به نام «Shadow AI» روبهرو هستیم—و اینبار خطر بهمراتب بزرگتر است.
اما نکتهای که بیش از همه من را شوکه کرد این بود که حتی این نسبت تکاندهنده هم اصل ماجرا را نشان نمیدهد. هریش گفت:
«حتی یک عامل با دسترسی اشتباه، از پنجاه هویت غیرانسانی که بهدرستی پیکربندی شدهاند خطرناکتر است.»
این موضوع فقط درباره اکانتهای سیستمی یا کلیدهای API نیست. ما درباره «کارمندان دیجیتالِ دارای مغز» صحبت میکنیم—مدلهای زبانی بزرگ که فکر میکنند، تصمیم میگیرند و در سراسر اکوسیستم فناوری شما عمل میکنند. آنها بهطور مستقل تصمیم میگیرند به چه سامانههایی دسترسی پیدا کنند و چه اقداماتی انجام دهند.
وقتی کارمند دیجیتال شما سرکش میشود
هریش سناریویی را ترسیم کرد که هنوز ذهنم را درگیر کرده است. فرض کنید از یک عامل هوش مصنوعی میخواهید ایمیلتان را بازیابی کند. ساده به نظر میرسد، درست است؟ اما اگر آن عامل، با منطق الگوریتمی خودش، تصمیم بگیرد نهتنها ایمیلها را بازیابی کند، بلکه آنهایی را که «فکر میکند» به آنها نیاز ندارید حذف کند چه؟
چه کسی این اختیار را به او داده است؟ چگونه مجوز حذف دریافت کرده؟ و مهمتر از همه—آیا اصلاً میدانستید چنین عاملی وجود دارد؟
این همان Shadow AI در عمل است. در حالی که ما استقرارهای رسمی و برنامهریزیشده عاملها را جشن گرفتهایم، در یک جهان موازی، عاملهای ناشناخته و بدون مدیریت در سازمانها تکثیر شدهاند. هر بار که فردی یک ابزار هوش مصنوعی را به یک نرمافزار سازمانی متصل میکند، ممکن است سطح حملهای جدید ایجاد کند که ابزارهای امنیتی سنتی قادر به دیدن آن نیستند.
و دامنه تخریب (Blast Radius) چقدر است؟ این عاملها محدود به یک یا دو سامانه نیستند. آنها میتوانند تحلیلگر مالی، دستیار منابع انسانی، نماینده خدمات مشتریان یا بهروزرسان CRM باشند—همگی با دسترسی به حساسترین دادههای شما.
پارادوکس نوآوری
آنچه بیش از همه در گفتوگو با هریش توجهم را جلب کرد، این بود که او مسئله را به دوگانه ساده «نوآوری یا امنیت» تقلیل نداد.
او تأکید کرد:
«باید این کار را با سرعتی انجام دهیم که همگام با مشتریانمان باشد. نمیخواهید آن فردی باشید که در انتهای سالن میگوید: ببخشید، ممکن است اول امنیت را برقرار کنیم؟»
این دقیقاً همان چیزی است که در سازمانها میبینم. مدیران کسبوکار تحت فشار شدیدی برای استقرار عاملهای هوش مصنوعی هستند. رقبا در حال پیشرویاند. مدیرعامل انتظار کاهش هزینه و افزایش بهرهوری دارد.
اما نکته نگرانکننده این است: تنها ۶٪ سازمانها عاملهای هوش مصنوعی را در مقیاس گسترده پیادهسازی کردهاند. بقیه در مرحله آزمایشاند. و بدون چارچوبهای مناسب هویت و دسترسی، در حال ساختن خانهای پوشالی هستند.
بافت هویتی برای دنیای عاملی
آنچه از هریش آموختم این است که باید مدیریت هویت را بهطور بنیادین بازنگری کنیم. ما برای انسانها کنترلهای هویتی را کامل کردهایم—احراز هویت چندعاملی، دسترسی مبتنی بر نقش، و اصل حداقل دسترسی. اما این سازوکارها برای موجودیتهایی که میتوانند بهطور خودمختار تصمیم بگیرند به سامانههایی دسترسی پیدا کنند که حتی نمیدانستیم قابل دسترسیاند، کافی نیست.
رویکرد Okta از طریق ISPM (مدیریت وضعیت امنیت هویت) امکان مشاهده تقریباً بلادرنگ تمام عاملهای موجود در اکوسیستم—از جمله Shadow AI—را فراهم میکند. بهمحض اینکه کاربری یک عامل هوش مصنوعی را به یک نرمافزار متصل کند، ISPM آن را شناسایی میکند. شما میتوانید دامنه اثر آن را مشاهده کنید و تنها با چند کلیک، عامل را از وضعیت «ناشناخته و بدون مدیریت» به «کاملاً مدیریتشده و ایمن» منتقل کنید.
هر رهبر کسبوکار همین حالا باید چه کاری انجام دهد؟
در پایان گفتوگو، هریش جملهای گفت که هر مدیر ارشدی باید بشنود:
«حتی به استقرار عاملها در محیط عملیاتی فکر نکنید، مگر اینکه چارچوب و پلتفرمی برای کنترل هویت و دسترسی آنها داشته باشید.»
این ترساندن بیمورد نیست. این توصیهای عملگرایانه از فردی است که با بیش از ۲۰ هزار سازمان کار میکند—سازمانهایی که همگی یک دغدغه مشترک دارند:
«ما عاملهایی داریم که میشناسیم، و عاملهایی که نمیشناسیم. آیا میتوانید کمکمان کنید آنها را ایمن کنیم؟»
افسانهای که باید کنار بگذاریم این است که این مشکل زمانی اهمیت پیدا میکند که «عاملهای زیادی» داشته باشیم. چنین آستانه جادوییای وجود ندارد. یک عامل با دسترسی اشتباه، بمبی ساعتی است.
و توصیه او؟ این موضوع را صرفاً به تیم امنیت واگذار نکنید. رهبران کسبوکار باید بفهمند عاملها چه هستند و چگونه کار میکنند. وقتی مدیرعامل از شما بپرسد چرا از عاملها برای کاهش هزینه استفاده نمیکنید—و قطعاً خواهد پرسید—باید پاسخی داشته باشید که میان نوآوری و مسئولیتپذیری تعادل برقرار کند.
دعوت من به اقدام
اگر رهبری تحول هوش مصنوعی در سازمانتان را برعهده دارید، پس از این گفتوگو سه کار را متفاوت انجام میدهم:
۱. پیش از اجرای پایلوت، درباره هویت و امنیت عاملها گفتوگوهای صریح انجام میدهم—نه بعد از آن.
۲. اطمینان حاصل میکنم رهبران کسبوکار اصول نحوه کار عاملها را درک میکنند—نه فقط خروجی آنها را. حتی میتوان از ابزارهایی مانند ChatGPT برای یادگیری معماری عاملها و مدلهای امنیتی استفاده کرد.
۳. از همان ابتدا بین واحدهای کسبوکار، تیمهای امنیت و تیمهای هویت همکاری ایجاد میکنم. این یک مسئله واگذاری نیست؛ یک چالش مشترک است.
جمعبندی
ما وارد عصری میشویم که تعداد عاملها از انسانها در سازمانها بیشتر خواهد شد. آنها به حساسترین دادهها، حیاتیترین سامانهها و امکان انجام اقدامات خودمختار دسترسی خواهند داشت. نمیتوانیم امنیت آنها را به مسئلهای درجه دوم تبدیل کنیم.
فرصت هوش مصنوعی عاملی واقعی و تحولآفرین است. اما ریسک آن هم واقعی است. سازمانهایی برنده خواهند بود که هر دو را با جدیت یکسان بپذیرند.
کورکورانه وارد عصر عاملها نشوید. عاملهای شناختهشده و ناشناخته خود را ببینید. دامنه اثرشان را بشناسید. پیش از توسعه مقیاس، هویتشان را ایمن کنید.
چرا که همانطور که هریش یادآور شد، نمیخواهید شکافهای امنیتی خود را از طریق یک رخنه کشف کنید. و در عصر عاملهای هوشمند و خودمختار، این کشف میتواند سریعتر و مخربتر از هر زمان دیگری رخ دهد.
نظر شما چیست؟ آیا در سازمان خود با Shadow AI مواجه شدهاید؟ چگونه میان استقرار عاملها و دغدغههای امنیتی تعادل برقرار میکنید؟ تجربیات خود را در بخش نظرات با ما در میان بگذارید.
نظر دهید