داون سونگ و امنیت در برابر رفتار پیش‌بینی‌نشده
داون سونگ پژوهشگر امنیت و حریم خصوصی در دانشگاه کالیفرنیا، برکلی است. کارنامه او از تحلیل برنامه‌های دودویی و ردیابی جریان داده تا امنیت یادگیری ماشین و سامانه‌های هوش مصنوعی امتداد دارد. وجه مشترک این حوزه‌ها توجه به فاصله میان رفتار مورد انتظار و رفتار واقعی است. برنامه ممکن است روی ورودی‌های عادی درست کار کند اما ورودی هدفمند آن را به مسیر دیگری ببرد. مدل یادگیری نیز ممکن است در آزمون معمول دقت بالایی داشته باشد اما در برابر داده‌ای که مهاجم انتخاب کرده، رفتار نامطمئن نشان دهد. پژوهش سونگ این فاصله را به موضوع اندازه‌گیری و طراحی تبدیل می‌کند.
برای معرفی او لازم نیست فعالیت علمی را به عنوان‌های مدیریتی یا راه‌اندازی شرکت‌ها تقلیل دهیم. صفحه رسمی دانشگاه، دکتری علوم رایانه او از برکلی و زمینه‌های پژوهشی مرتبط با امنیت، حریم خصوصی و هوش مصنوعی را ثبت کرده است. اهمیت عملی این پیشینه در ترکیب روش‌های متفاوت دیده می‌شود. تحلیل کد، اجرای برنامه، منطق، اندازه‌گیری و آزمایش همگی می‌توانند بخشی از پاسخ باشند. در چنین رویکردی، ابزار تنها یک خروجی جانبی مقاله نیست. ابزار می‌تواند شیوه تازه‌ای برای دیدن رفتار سامانه و تبدیل یک نگرانی کلی به شاهد قابل بررسی فراهم کند.
چرا تحلیل فایل اجرایی مهم است
پروژه BitBlaze یکی از مدخل‌های مناسب برای شناخت این نگاه است. در بسیاری از بررسی‌های امنیتی، کد منبع نرم‌افزار در دسترس نیست. حتی وقتی منبع وجود دارد، آنچه پردازنده اجرا می‌کند نسخه ترجمه‌شده برنامه است. بهینه‌سازی، کتابخانه‌های پیوندخورده و جزئیات محیط اجرا می‌توانند در رفتار نهایی اثر بگذارند. تحلیل فایل اجرایی امکان مطالعه همین سطح را فراهم می‌کند. با این حال این کار دشوار است، زیرا نام متغیرها، ساختارهای سطح بالا و توضیح‌های برنامه‌نویس ممکن است از بین رفته باشند و تحلیلگر باید معنا را از دستورها و اثر آن‌ها بازسازی کند.
در توضیح رسمی BitBlaze، ترکیب تحلیل ایستا، تحلیل پویا، اجرای نمادین و شبیه‌سازی کل سامانه مطرح شده است. هر کدام از این روش‌ها زاویه دید متفاوتی دارند. تحلیل ایستا می‌تواند بدون اجرای نمونه، درباره مسیرها و رابطه‌های برنامه اطلاعات بدهد. تحلیل پویا رفتار یک اجرای واقعی را مشاهده می‌کند. اجرای نمادین می‌کوشد شرط‌های لازم برای رسیدن به مسیرهای مختلف را به شکل رابطه‌های منطقی بیان کند. ترکیب این روش‌ها راهی برای کاهش محدودیت‌های هر کدام است، اما تضمین نمی‌کند که همه رفتارهای ممکن یک برنامه بزرگ به طور کامل کشف شوند.
سه نام Vine، TEMU و Rudder در معماری این پروژه دیده می‌شوند. Vine زیرساختی برای نمایش و تحلیل دستورها در یک زبان میانی فراهم می‌کرد. TEMU بر مشاهده و ابزارگذاری رفتار در محیط اجرای شبیه‌سازی‌شده تمرکز داشت. Rudder به اجرای نمادین پویا مربوط بود. دانستن این نام‌ها فقط زمانی ارزش دارد که نقش آن‌ها روشن باشد. هدف، ساختن پلی میان دستور ماشین و پرسش امنیتی است. برای نمونه، پژوهشگر می‌خواهد بداند کدام ورودی در یک تصمیم حساس اثر گذاشته یا چه شرطی باعث رسیدن برنامه به نقطه خطا شده است.
ردیابی جریان داده به جای حدس زدن علت
پژوهش TaintCheck از نمونه‌های شناخته‌شده در مسیر کاری سونگ و همکارانش است. ایده کلی تحلیل آلودگی این است که داده ورودی از یک منبع مشخص علامت‌گذاری شود و اثر آن در طول اجرای برنامه دنبال شود. واژه آلودگی در اینجا یک اصطلاح فنی است و الزاماً به معنی بدافزار بودن داده نیست. داده ممکن است فقط از منبعی آمده باشد که به آن اعتماد نداریم. تحلیلگر سپس بررسی می‌کند که آیا این داده به مقصد یا تصمیمی رسیده که نیازمند اعتماد بیشتری است. این روش، رابطه میان ورودی و اثر را قابل مشاهده می‌کند.
فرض کنید یک نرم‌افزار آزمایشگاهی فایلی را می‌خواند و کمی بعد دچار خطا می‌شود. صرف دیدن محل توقف همیشه علت را روشن نمی‌کند، زیرا مقدار مشکل‌ساز ممکن است چندین مرحله پیش‌تر وارد حافظه شده باشد. ردیابی جریان داده می‌تواند به تحلیلگر نشان دهد کدام بایت یا ساختار ورودی با رفتار نهایی ارتباط دارد. این مثال توضیح آموزشی روش است و یک دستور بهره‌برداری از محصول واقعی نیست. ارزش علمی چنین ابزارهایی در کوتاه کردن فاصله میان مشاهده خطا و فهم علت قرار دارد. فهم علت، پایه ساختن اصلاحی است که فقط نشانه را پنهان نکند.
تحلیل آلودگی نیز محدودیت دارد. تعریف منبع، نحوه انتشار برچسب و تشخیص وابستگی‌های غیرمستقیم بر نتیجه اثر می‌گذارند. اگر قواعد بسیار محافظه‌کارانه باشند، داده‌های زیادی حساس شناخته می‌شوند و خروجی شلوغ می‌شود. اگر قواعد بیش از حد ساده باشند، برخی مسیرهای اثرگذاری دیده نمی‌شوند. بنابراین ابزار باید با پرسش پژوهش تنظیم و ارزیابی شود. در خواندن آثار سونگ، توجه به همین جزئیات مهم‌تر از برداشت تبلیغاتی «کشف خودکار همه حمله‌ها» است. خودکارسازی بخشی از کار تحلیلگر را تقویت می‌کند و مسئولیت تفسیر شواهد همچنان باقی می‌ماند.
از رفتار برنامه تا رفتار مدل
گذار به امنیت یادگیری ماشین ادامه منطقی همین دغدغه است. در برنامه سنتی، تحلیلگر معمولاً با دستورهای صریح و شاخه‌های نوشته‌شده روبه‌رو است. در مدل یادگیری، رفتار از داده و فرایند آموزش حاصل می‌شود و قواعد تصمیم‌گیری به همان صورت در کد قابل خواندن نیستند. با این حال پرسش امنیتی مشابه است. اگر یک عامل هدفمند ورودی را انتخاب کند، چه تضمینی باقی می‌ماند؟ معیار دقت روی مجموعه آزمون معمول، به تنهایی این پرسش را پاسخ نمی‌دهد. داده آزمون ممکن است نماینده تلاش مهاجمی نباشد که برای شکست مدل جست‌وجو می‌کند.
در فهرست آثار سونگ، پژوهش درباره نمونه‌های خصمانه و انتقال‌پذیری آن‌ها میان مدل‌ها دیده می‌شود. انتقال‌پذیری از این جهت مهم است که مهاجم همیشه به وزن‌ها یا کد مدل هدف دسترسی ندارد. اگر نمونه‌ای که برای یک مدل ساخته شده بر مدل دیگر نیز اثر بگذارد، پنهان کردن جزئیات مدل لزوماً دفاع کافی نیست. این نتیجه نباید به معنای شکست قطعی همه مدل‌ها در همه کاربردها تعبیر شود. دامنه حمله، دانش مهاجم، نوع داده و معیار موفقیت باید مشخص باشند. پژوهش دقیق همین شرط‌ها را بیان می‌کند و نتیجه را در همان چارچوب می‌سنجد.
از این زاویه، آزمون یک دفاع باید مهاجم را در نظر بگیرد. ممکن است روشی در برابر چند نمونه از پیش آماده موفق باشد اما مهاجم با آگاهی از همان دفاع، ورودی متفاوتی پیدا کند. ارزیابی سازگارشونده می‌پرسد وقتی دفاع بخشی از محیط شناخته‌شده باشد چه اتفاقی می‌افتد. این مسئله در امنیت نرم‌افزار هم سابقه دارد. پنهان کردن نشانه یا دشوار کردن یک آزمایش خاص با حذف علت آسیب‌پذیری تفاوت دارد. برای خواننده حرفه‌ای، این بخش از کارنامه سونگ یادآور اهمیت طراحی آزمونی است که واقعاً ادعای مطرح‌شده را به چالش بکشد.
حریم خصوصی در استفاده از داده
یادگیری ماشین تنها مسئله مقاومت در برابر ورودی مخرب نیست. داده آموزشی ممکن است شامل اطلاعات حساس باشد و خروجی مدل یا تحلیل آماری نیز می‌تواند درباره افراد چیزی آشکار کند. در معرفی پروژه‌های پژوهشی سونگ، حریم خصوصی تفاضلی و تحلیل داده با حفاظت از حریم خصوصی مطرح شده‌اند. هدف کلی این مسیر آن است که بهره‌برداری از مجموعه داده با کنترل روشن درباره اطلاعات افشاشده همراه شود. این موضوع به ویژه زمانی اهمیت دارد که داده در یک سازمان جمع شده اما پرس‌وجوها یا مدل‌ها برای کاربران مختلف در دسترس قرار می‌گیرند.
حریم خصوصی تفاضلی را نباید مترادف حذف نام‌ها دانست. حذف نام ممکن است همچنان امکان پیوند دادن رکورد با اطلاعات بیرونی را باقی بگذارد. در مقابل، تعریف ریاضی حریم خصوصی تفاضلی درباره اثر حضور یا نبودن داده یک فرد بر توزیع خروجی صحبت می‌کند. این تعریف به انتخاب پارامترها، سازوکار و نحوه ترکیب چند انتشار وابسته است. توضیح این مفهوم در معرفی سونگ برای نشان دادن نوع مسئله است. هیچ عدد یا برچسبی به تنهایی کافی نیست و پیاده‌سازی باید با هدف کاربرد، کیفیت نتیجه و بودجه حریم خصوصی سازگار باشد.
برای یک تیم تحلیل داده، نتیجه عملی این بحث آن است که حفاظت باید در طراحی فرایند قرار گیرد. باید روشن باشد چه کسی داده خام را می‌بیند، چه خروجی‌هایی منتشر می‌شوند و چند بار می‌توان از همان مجموعه داده پرسش کرد. اگر هر مرحله جداگانه بی‌خطر به نظر برسد اما ترکیب آن‌ها اطلاعات زیادی آشکار کند، بررسی محلی کافی نبوده است. پژوهش در این حوزه به سازمان کمک می‌کند زبان دقیق‌تری برای گفت‌وگو داشته باشد. به جای وعده مبهم ناشناس‌سازی، می‌توان درباره مدل تهدید، نوع تضمین و هزینه کیفیت صحبت کرد.
هوش مصنوعی عامل‌محور و مرز اختیار
صفحه رسمی سونگ در زمان بررسی این معرفی، امنیت و ایمنی هوش مصنوعی و سامانه‌های عامل‌محور را از زمینه‌های فعال پژوهش نشان می‌دهد. عامل نرم‌افزاری فقط پاسخ متنی تولید نمی‌کند؛ ممکن است ابزار فراخوانی کند، داده بخواند یا عملی در یک سامانه انجام دهد. در این وضعیت، خطر از محتوای نادرست پاسخ فراتر می‌رود و به اختیار اجرا مربوط می‌شود. یک متن بیرونی نباید صرفاً به دلیل ورود به زمینه مدل، به دستور معتبر تبدیل شود. این تمایز برای طراحی سامانه‌ای که با وب، فایل یا پیام کار می‌کند اساسی است.
پرسش مهندسی مناسب این است که تصمیم حساس در کجا کنترل می‌شود. اگر همه چیز به تفسیر آزاد یک مدل واگذار شود، توضیح و آزمون رفتار دشوار خواهد شد. محدود کردن دسترسی ابزار، بررسی ورودی، ثبت رویداد و جدا کردن داده از دستور می‌توانند لایه‌های مستقلی از کنترل فراهم کنند. این‌ها برداشت‌های طراحی از مسئله امنیت عامل‌ها هستند و ادعای یک راه‌حل کامل در آثار سونگ نیستند. پژوهش در این حوزه همچنان به سنجش تهدیدهای تازه و ارزیابی دفاع‌ها نیاز دارد، به ویژه وقتی محیط و ابزارهای عامل تغییر می‌کنند.
الگویی برای پژوهشگر امنیت
کارنامه داون سونگ نشان می‌دهد که مهارت امنیتی می‌تواند با تغییر فناوری، پرسش‌های بنیادی خود را حفظ کند. در تحلیل دودویی، رابطه ورودی و اجرای برنامه مهم است. در یادگیری ماشین، رابطه داده و رفتار مدل بررسی می‌شود. در حریم خصوصی، رابطه خروجی و اطلاعات افراد اهمیت پیدا می‌کند. در همه این موارد، پژوهشگر باید ادعای مبهم را به مدلی روشن و آزمایشی قابل بازبینی تبدیل کند. همکاری با دانشجویان و دیگر پژوهشگران نیز بخش اصلی این دستاوردهاست و نباید پروژه‌های گروهی را نتیجه تلاش یک نفر به تنهایی معرفی کرد.
برای مطالعه آثار او، شروع از معرفی BitBlaze و سپس خواندن یک مقاله تحلیل آلودگی مسیر مناسبی است. پس از فهم ابزارهای مشاهده رفتار، می‌توان سراغ آثار نمونه‌های خصمانه و حفاظت از داده رفت. در هر مرحله بهتر است خواننده سه چیز را یادداشت کند. چه چیزی تحت کنترل مهاجم است، موفقیت چگونه اندازه‌گیری شده و چه بخش‌هایی خارج از دامنه مطالعه‌اند. این روش مطالعه، هم ارزش نتیجه را روشن می‌کند و هم از تعمیم بی‌جا جلوگیری می‌کند. میراث قابل استفاده سونگ در همین پیوند میان ابزار، آزمایش و دقت در بیان تضمین‌ها دیده می‌شود.
