وقتی هوش مصنوعی اشتباه می‌کند، چه کسی باید پاسخ‌گو باشد؟
از بانک و اعتبارسنجی تا قراردادهای فناوری؛ بررسی مسئولیت توسعه‌دهنده، عرضه‌کننده و بهره‌بردار در حقوق ایران
فرض کنیم بانکی با استفاده از یک سامانه هوشمند، درخواست تسهیلات یک مشتری را رد می‌کند. مشتری بعداً متوجه می‌شود اطلاعاتی که مبنای ارزیابی قرار گرفته نادرست بوده است. بانک می‌گوید تصمیم را سامانه گرفته؛ شرکت ارائه‌دهنده نرم‌افزار هم توضیح می‌دهد که خروجی مدل بر اساس داده‌های دریافتی تولید شده است. در این میان، زیان‌دیده با یک پرسش ساده اما جدی روبه‌روست: برای جبران خسارت باید به چه کسی مراجعه کند؟
این مثال، دیگر صرفاً یک فرض دانشگاهی نیست. هرچه استفاده از سامانه‌های هوش مصنوعی در اعتبارسنجی، استخدام، بیمه، خدمات عمومی و فعالیت‌های حرفه‌ای گسترده‌تر می‌شود، احتمال بروز چنین اختلاف‌هایی هم افزایش پیدا می‌کند. مسئله حقوقی دقیقاً از همین نقطه آغاز می‌شود: تصمیمی گرفته شده، خسارتی به بار آمده و هر یک از اشخاص دخیل ممکن است مسئولیت را به دیگری نسبت دهد.
به اعتقاد من، پاسخ را نباید در این عبارت خلاصه کرد که «هوش مصنوعی خطا کرده است». این جمله منشأ فنی اتفاق را توصیف می‌کند، اما به‌خودی‌خود پاسخ حقوقی نیست.
نخست باید دید چه کسی تصمیم را گرفته است
در بحث‌های مربوط به هوش مصنوعی گاهی چنان از استقلال سامانه سخن گفته می‌شود که گویی با یک شخص مستقل روبه‌رو هستیم. اما توانایی سامانه در تحلیل داده، یادگیری الگوها یا تولید خروجی‌های پیش‌بینی‌نشده، لزوماً به معنای برخورداری آن از شخصیت حقوقی نیست.
در حقوق ایران، مبنای عام و پذیرفته‌شده‌ای برای شناسایی شخصیت حقوقی مستقل برای یک سامانه هوش مصنوعی وجود ندارد. بنابراین، در وضعیت فعلی باید سراغ اشخاصی رفت که سامانه را طراحی کرده‌اند، در اختیار دیگران گذاشته‌اند یا از آن برای تصمیم‌گیری استفاده می‌کنند.
البته این اشخاص الزاماً همگی مسئول نیستند. صرف حضور در زنجیره تولید و استفاده از فناوری، مسئولیت ایجاد نمی‌کند. باید روشن شود هر شخص چه تعهدی داشته، چه رفتاری از او سر زده و آن رفتار چه ارتباطی با خسارت واردشده دارد.
قواعد مسئولیت مدنی همچنان قابل استفاده‌اند
ماده ۱ قانون مسئولیت مدنی نقطه شروع مناسبی برای بررسی این موضوع است. بر اساس این ماده، هرکس بدون مجوز قانونی و عمداً یا در نتیجه بی‌احتیاطی به حقوق اشخاص لطمه وارد کند و موجب ضرر مادی یا معنوی شود، مسئول جبران خسارت خواهد بود.
از این حکم می‌توان یک نتیجه عملی گرفت: استفاده از فناوری جدید، هیچ‌کس را از رعایت احتیاط متعارف معاف نمی‌کند. اگر سازمانی می‌داند خروجی یک سامانه ممکن است بر اعتبار مالی، موقعیت شغلی یا حقوق اساسی افراد اثر بگذارد، نمی‌تواند بدون بررسی تناسب سامانه با کار موردنظر و بدون پیش‌بینی راهی برای کنترل خطا، همه تصمیم را به ماشین واگذار کند.
برای نمونه، بانکی که از یک مدل اعتبارسنجی استفاده می‌کند باید بتواند توضیح دهد داده‌های مورد استفاده تا چه اندازه قابل اتکا بوده‌اند، سامانه چگونه ارزیابی شده و در صورت مشاهده نتیجه غیرمتعارف چه سازوکاری برای بازبینی وجود داشته است. اگر تصمیم زیان‌بار حاصل بی‌احتیاطی در انتخاب، استقرار یا نظارت بر سامانه باشد، مسئولیت بهره‌بردار قابل بررسی است.
در کنار ماده ۱ قانون مسئولیت مدنی، مواد ۳۲۸ و ۳۳۱ قانون مدنی نیز، با توجه به شرایط هر پرونده، در تحلیل اتلاف و تسبیب قابل توجه‌اند. البته نمی‌توان بدون احراز ارکان قانونی، هر خطای فنی را مصداق اتلاف یا تسبیب دانست. رابطه سببیت و نقش هر یک از عوامل باید جداگانه بررسی شود.
مسئولیت در یک زنجیره توزیع شده است
در عمل، سامانه‌ای که یک شرکت به کار می‌گیرد ممکن است محصول کار چند مجموعه باشد: یک شرکت مدل را توسعه داده، شرکت دیگری آن را عرضه کرده، پیمانکار دیگری داده‌ها را آماده کرده و نهایتاً سازمان بهره‌بردار آن را وارد فرایند تصمیم‌گیری کرده است.
در چنین وضعی، تفکیک نقش‌ها تعیین‌کننده است:
- توسعه‌دهنده: باید دید آیا در طراحی، آموزش، آزمون یا اعلام محدودیت‌های شناخته‌شده سامانه، تعهد حرفه‌ای خود را رعایت کرده است یا خیر.
- عرضه‌کننده: نحوه معرفی قابلیت‌ها، تعهدات قراردادی، هشدارهای ارائه‌شده و کیفیت خدمات می‌تواند در ارزیابی رفتار او مؤثر باشد.
- بهره‌بردار: انتخاب سامانه متناسب با هدف، کنترل داده‌های ورودی، نظارت بر عملکرد و پیش‌بینی امکان بازبینی تصمیم‌ها معمولاً در حوزه مسئولیت سازمان استفاده‌کننده قرار می‌گیرد.
- تصمیم‌گیرنده انسانی: اگر شخصی خروجی آشکارا نامتعارف را بدون بررسی تأیید کند، رفتار او نیز ممکن است در وقوع خسارت نقش داشته باشد. اگر این شخص کارکن سازمان بهره‌بردار باشد، مسئولیت کارفرما در جبران خسارتی که کارکن در حین انجام کار یا به مناسبت آن وارد کرده، با رعایت شرایط ماده ۱۲ قانون مسئولیت مدنی قابل طرح است.
این تقسیم‌بندی یک قاعده ثابت برای تعیین مسئولیت نیست؛ چارچوبی برای طرح پرسش‌های درست است. در یک پرونده ممکن است نقص اصلی به توسعه سامانه مربوط باشد و در پرونده‌ای دیگر، حتی با وجود عملکرد فنی قابل قبول، استفاده نادرست سازمان از آن منشأ خسارت شود.
دشوارترین بخش پرونده: اثبات آنچه اتفاق افتاده است
در بسیاری از اختلافات، زیان‌دیده به اطلاعاتی دسترسی ندارد که برای اثبات ادعای خود ضروری است. او نمی‌داند مدل با چه نسخه‌ای اجرا شده، چه داده‌هایی به آن داده‌اند، تنظیمات سامانه چه بوده یا چه کسی خروجی را تغییر داده است. این اطلاعات معمولاً در اختیار شرکت ارائه‌دهنده یا سازمان بهره‌بردار قرار دارد.
به همین دلیل، در پرونده‌های مرتبط با هوش مصنوعی، حفظ و ارائه مستندات فنی اهمیت ویژه‌ای پیدا می‌کند. گزارش‌های ثبت رویداد، نسخه مدل، داده‌های ورودی، سوابق تغییر تنظیمات، نتایج آزمون، گزارش بازبینی انسانی و مکاتبات طرفین ممکن است در تشخیص منشأ خطا تعیین‌کننده باشند.
زیان‌دیده در این وضعیت دست خالی نیست. او می‌تواند پیش از آنکه سوابق فنی تغییر کند یا از میان برود، از مرجع قضایی تأمین دلیل بخواهد و در جریان رسیدگی نیز درخواست کند طرف مقابل اسناد و سوابقی را که نزد اوست ارائه دهد. اقدام به‌موقع در همین مرحله، گاه سرنوشت پرونده را تعیین می‌کند.
کارشناسی فنی نیز باید مسئله را روشن کند، نه اینکه جای قضاوت حقوقی بنشیند. کارشناس می‌تواند توضیح دهد خطا از کجا ناشی شده یا کدام مؤلفه در نتیجه مؤثر بوده است؛ اما اینکه این وضعیت از نظر حقوقی تقصیر محسوب می‌شود، کدام تعهد نقض شده و چه کسی باید خسارت را جبران کند، موضوعی است که مرجع رسیدگی باید درباره آن تصمیم بگیرد.
از سوی دیگر، دشوار بودن اثبات نباید به این نتیجه منتهی شود که بهره‌بردار همیشه مسئول است یا توسعه‌دهنده هیچ‌گاه مسئولیتی ندارد. راه درست، بررسی موردی ادله، تعهدات و رابطه سببیت است.
قرارداد خوب، اختلاف را از ابتدا محدود می‌کند
بخش مهمی از اختلافات آینده را می‌توان با قراردادهای دقیق‌تر پیشگیری کرد. در قراردادهای طراحی، توسعه، تأمین و بهره‌برداری از سامانه‌های هوش مصنوعی، عبارت‌های کلی مانند «ارائه خدمات هوشمند» یا «تضمین عملکرد مناسب» کافی نیستند.
باید مشخص شود سامانه برای چه منظوری طراحی شده، چه سطحی از عملکرد از آن انتظار می‌رود، محدودیت‌های شناخته‌شده چیست، داده‌ها چگونه نگهداری می‌شوند، خطاها چگونه گزارش خواهند شد و در صورت بروز رخداد، هر طرف چه وظیفه‌ای دارد.
پیش‌بینی حق ممیزی، دسترسی به گزارش‌های فنی، ثبت رویدادها، اعلام تغییرات مهم مدل، امکان تعلیق استفاده از سامانه و تعیین تکلیف داده‌ها پس از پایان قرارداد نیز می‌تواند در زمان اختلاف بسیار راهگشا باشد.
مواد ۱۰ و ۲۱۹ قانون مدنی در تحلیل اعتبار و الزام‌آوری این توافق‌ها نقش دارند. بااین‌حال، تقسیم قراردادی ریسک میان دو طرف را نباید با حذف حقوق اشخاص ثالث یا کنار گذاشتن مسئولیت‌های قانونی غیرقابل اسقاط یکی دانست. قرارداد می‌تواند روابط داخلی طرفین را تنظیم کند، اما همیشه نمی‌تواند در برابر زیان‌دیده‌ای که طرف قرارداد نبوده، تعیین‌کننده نهایی باشد.
نظارت انسانی نباید به امضای صوری تبدیل شود
یکی از پاسخ‌هایی که معمولاً برای کنترل خطرات هوش مصنوعی مطرح می‌شود، حفظ نظارت انسانی است. اما صرف حضور یک کارمند در انتهای فرایند، نظارت واقعی ایجاد نمی‌کند.
اگر کارمند نه فرصت بررسی داشته باشد، نه اطلاعات کافی در اختیارش باشد و نه اختیار تغییر نتیجه را داشته باشد، تأیید او چیزی بیش از یک مرحله تشریفاتی نیست. نظارت مؤثر زمانی معنا دارد که شخص مسئول بتواند خروجی را بفهمد، درباره آن پرسش کند و در صورت لزوم جلوی اجرای تصمیم را بگیرد.
البته میزان این نظارت باید با نوع و اهمیت تصمیم تناسب داشته باشد. برای پیشنهاد یک محصول ساده، کنترل‌های محدود ممکن است کافی باشد؛ اما تصمیمی که به رد درخواست بیمه، محرومیت از یک خدمت یا محدود شدن فرصت شغلی فرد منجر می‌شود، به سازوکار دقیق‌تری برای توضیح، اعتراض و بازبینی نیاز دارد.
جمع‌بندی؛ فناوری جدید، مسئولیت را از میان نمی‌برد
به نظر من، چالش اصلی حقوق ایران در مواجهه با هوش مصنوعی فقدان کامل قواعد مسئولیت نیست. قواعد عمومی قانون مسئولیت مدنی و قانون مدنی، در بسیاری از موارد ظرفیت پاسخ‌گویی دارند. مسئله مهم‌تر، تطبیق درست این قواعد با ساختار فنی سامانه‌ها، شناسایی نقش اشخاص مختلف و فراهم کردن امکان دسترسی به ادله است.
نباید اجازه داد پیچیدگی فناوری به پوششی برای نامشخص ماندن مسئولیت تبدیل شود. سازمانی که تصمیم مهمی را با کمک هوش مصنوعی اتخاذ می‌کند، باید بتواند درباره چرایی استفاده از آن، کیفیت داده‌ها، حدود اتکا به خروجی و نحوه رسیدگی به اعتراض اشخاص توضیح دهد.
قانون‌گذار اروپایی در این زمینه راه دیگری رفته و نرم‌افزار و هوش مصنوعی را صراحتاً در قلمرو مسئولیت ناشی از کالا قرار داده است؛ برای مقایسه، نوشته وقتی نرم‌افزار «کالا» می‌شود؛ قانون جدید مسئولیت ناشی از کالا در آلمان و هوش مصنوعی را ببینید.
در نهایت، هوش مصنوعی ممکن است در فرایند تصمیم‌گیری نقش پررنگی داشته باشد، اما مسئولیت حقوقی را نمی‌توان به آن حواله داد و پرونده را مختومه تلقی کرد. پشت هر سامانه، تصمیم‌های انسانی و سازمانی وجود دارد؛ حقوق نیز باید همین تصمیم‌ها و تعهدات را مورد بررسی قرار دهد.
این نوشته ناظر بر قواعد عمومی حقوق ایران است. تشخیص مسئولیت در هر پرونده، به اوضاع و احوال، ادله فنی و حقوقی و مقررات خاص حاکم بر موضوع بستگی دارد.
