استناد جعلی هوش مصنوعی؛ چرا شماره ماده اشتباه می‌سازد؟
پاسخ را می‌خوانید؛ مرتب است، اصطلاحات حقوقی دارد و برای هر بخش هم شماره ماده آورده است. اما وقتی سراغ متن قانون می‌روید، می‌بینید یکی از مواد اصلاً درباره موضوع شما نیست. گاهی هم رأیی که دستیار معرفی کرده، پیدا نمی‌شود.
استناد جعلی هوش مصنوعی یعنی ابزار، منبعی ناموجود معرفی کند یا مطلبی را به منبعی نسبت دهد که آن را تأیید نمیکند. این خطا میتواند در قالب شماره ماده، نام قانون، رأی دادگاه یا حتی نقل‌قولی ظاهراً دقیق ظاهر شود. برای تشخیص آن باید خود منبع را بررسی کرد؛ لحن مطمئن پاسخ، نشانه اعتبارش نیست.
اگر از هوش مصنوعی برای تحقیق حقوقی یا تهیه پیش‌نویس لایحه استفاده می‌کنید، شناخت این خطا کمک می‌کند بدانید کدام بخش از کار را می‌توان به ابزار سپرد و کجا باید بررسی دقیق‌تری انجام داد.
یک نمونه واقعی؛ پرونده‌هایی که وجود نداشتند
در سال ۲۰۲۳، در پرونده «Mata v. Avianca» در نیویورک، متنی به دادگاه ارائه شد که به شش رأی ناموجود استناد می‌کرد. این منابع با کمک ChatGPT تولید شده بودند و ظاهری شبیه استنادهای واقعی داشتند. یکی از وکلا حتی برای اطمینان از واقعی‌بودن منابع، از همان ابزار سؤال کرده و پاسخ تأییدی گرفته بود.
دادگاه در تصمیم ۲۲ ژوئن ۲۰۲۳، ضمن بررسی نحوه ارائه و دفاع از این مستندات، برای دو وکیل و مؤسسه حقوقی آن‌ها جریمه‌ای مشترک به مبلغ ۵ هزار دلار تعیین کرد. این ماجرا فقط درباره اشتباه یک نرم‌افزار نبود؛ ادامه اتکا به منابع ساختگی پس از مطرح‌شدن تردید درباره آن‌ها هم در تصمیم دادگاه نقش داشت. [۱]
درس کاربردی این پرونده روشن است: تأیید دوباره یک ادعا توسط همان دستیار، جای بررسی مستقل منبع را نمی‌گیرد.
چرا هوش مصنوعی شماره ماده اشتباه می‌سازد؟
مدل زبانی هنگام پاسخ‌دادن، متن را بر اساس الگوهای آموخته‌شده و اطلاعاتی که در اختیار دارد تولید می‌کند. اگر ابزار به منبع معتبر مراجعه نکند، نباید فرض کنیم هر شماره ماده یا نقل‌قولی که نوشته، از متن قانون استخراج شده است.
ممکن است ساختار جمله حقوقی درست به نظر برسد، اما نام قانون، شماره ماده یا محتوای آن اشتباه باشد. این نوع پاسخِ ظاهراً معتبر اما نادرست، از مصداق‌های «توهم هوش مصنوعی» است. دسترسی به منابع بیرونی میتواند به کاهش آن کمک کند، ولی کیفیت بازیابی و نحوه استفاده از منبع همچنان اهمیت دارد. [۲]
در کار با پاسخ حقوقی، این سه حالت را جداگانه بررسی کنید:
- منبع ناموجود: رأی یا مستندی معرفی شده که وجود آن تأیید نمی‌شود.
- منبع واقعی با محتوای نادرست: ماده وجود دارد، اما چیزی که به آن نسبت داده شده در متنش نیست.
- منبع واقعی با کاربرد نامناسب: متن درست نقل شده، اما نتیجه‌ای که برای مسئله شما گرفته شده به بررسی بیشتری نیاز دارد.
این‌طور هم نیست که مدل همیشه مجبور به پاسخ‌دادن باشد. یک دستیار میتواند نبود اطلاعات کافی را اعلام کند. مسئله این است که صرفِ پاسخ‌دادن یا حتی ابراز اطمینان، نشان نمی‌دهد اطلاعات لازم را داشته است.
چرا خطای استناد در متن حقوقی مهم است؟
در یک استدلال حقوقی، منبع باید از نتیجه پشتیبانی کند. اگر شماره ماده درست باشد اما موضوع آن با ادعا ارتباط نداشته باشد، وجود همان شماره کمکی به اعتبار استدلال نمیکند.
فرض کنید دستیار برای یک اختلاف قراردادی، ماده‌ای واقعی معرفی کند؛ اما شرط یا استثنای مؤثر آن را در توضیح خود نیاورد. در این مثال فرضی، جست‌وجوی شماره ماده کافی نیست. باید متن کامل و نسبت آن با وضعیت پرونده بررسی شود.
از طرف دیگر، یک پاسخ چنداستنادی ممکن است ترکیبی از ارجاع‌های درست و نادرست باشد. تأیید دو منبع اول، دلیلی برای پذیرش بقیه نیست. بهتر است پیش از استفاده در متن نهایی، هر استناد مسیر بررسی مشخصی داشته باشد.
چه نشانه‌هایی به بررسی بیشتر نیاز دارند؟
از روی ظاهر پاسخ نمی‌توان درباره واقعی یا جعلی‌بودن منبع حکم قطعی داد. بااین‌حال، این موارد نقطه شروع مناسبی برای بررسی هستند.
شماره ماده آمده، اما نام قانون مشخص نیست
عبارتی مثل «مطابق ماده مربوطه» یا یک شماره بدون نام قانون، برای بررسی کافی نیست. نام کامل قانون و مشخصات لازم برای یافتن متن را بخواهید. کامل‌بودن این مشخصات هم بهتنهایی صحت استناد را ثابت نمیکند.
متن داخل گیومه با اصل منبع تفاوت دارد
خلاصه‌کردن یک ماده با نقل‌قول مستقیم فرق دارد. اگر پاسخ عبارتی را به‌عنوان «متن ماده» ارائه کرده، آن را با اصل منبع تطبیق دهید. کوتاه و روان‌بودن متن، دلیل ساختگی‌بودن نیست؛ اختلاف با منبع مهم است.
لینک وجود دارد، اما ادعا را تأیید نمیکند
لینک را باز کنید. ممکن است به صفحه اصلی یک پایگاه، سندی دیگر یا متنی برسید که نتیجه پاسخ را پشتیبانی نمیکند. ارجاع قابل کلیک، فقط امکان بررسی را فراهم می‌کند.
مشخصات رأی ناقص یا ناسازگار است
برای بررسی یک رأی، شماره، تاریخ، مرجع صادرکننده و موضوع آن را کنار هم ببینید. یافتن سندی با شماره مشابه کافی نیست؛ باید مطمئن شوید همان سند مورد اشاره است.
چگونه استنادهای حقوقی هوش مصنوعی را بررسی کنیم؟
برای هر منبعی که می‌خواهید در متن نهایی استفاده کنید، این مسیر را طی کنید:
-
مشخصات منبع را جدا کنید. نام قانون یا رأی، شماره ماده، تاریخ و مرجع را از پاسخ بیرون بکشید.
-
متن اصلی را پیدا کنید. جست‌وجو را در منابع رسمی انتشار قوانین و آرای مربوط آغاز کنید. اگر از پایگاه واسط استفاده می‌کنید، منشأ و تاریخ نسخه را بررسی کنید.
-
نسخه مرتبط را بررسی کنید. تاریخ واقعه و مقررات قابل اعمال اهمیت دارند. دیدن تازه‌ترین متن، بدون توجه به زمان موضوع پرونده، همیشه کافی نیست.
-
نقل‌قول را تطبیق دهید. تبصره‌ها، شروط، استثناها و ارجاع به مواد دیگر را هم بخوانید.
-
رابطه منبع و نتیجه را بسنجید. آیا متن واقعاً همان ادعایی را پشتیبانی می‌کند که دستیار مطرح کرده؟ وجود منبع و درستی نتیجه دو بررسی جداگانه‌اند.
-
موارد تأییدنشده را مشخص کنید. تا زمان روشن‌شدن منبع، آن‌ها را وارد نسخه نهایی نکنید. لینک، مشخصات نسخه و یادداشت بررسی را کنار پیش‌نویس نگه دارید.
برای گرفتن خروجی قابل بررسی‌تر، می‌توانید درخواست خود را این‌طور بنویسید:
فقط از منابعی استفاده کن که متنشان در دسترس توست. برای هر استناد، نام کامل منبع، شماره ماده یا رأی و بخش مرتبط را بیاور. نقل‌قول مستقیم را از توضیح خودت جدا کن. اگر منبع کافی پیدا نکردی، صریح بگو و شماره یا نقل‌قول حدس نزن.
این دستور به روشن‌ترشدن انتظارات کمک می‌کند؛ بررسی منابع همچنان لازم است.
آیا RAG جلوی استناد جعلی را می‌گیرد؟
RAG یا «تولید تقویت‌شده با بازیابی» روشی است که در آن، سامانه ابتدا متن‌های مرتبط را از یک مجموعه اطلاعات پیدا می‌کند و سپس آن‌ها را در اختیار مدل می‌گذارد تا پاسخ را با کمکشان بسازد. در ابزار حقوقی، این مجموعه میتواند شامل قوانین و اسناد حقوقی باشد. [۲]
این روش میتواند خطا را کاهش دهد، اما تضمین نمیکند پاسخ بدون اشتباه باشد. در پژوهشی منتشرشده در سال ۲۰۲۴، ابزارهای تخصصی تحقیق حقوقیِ متکی بر بازیابی نیز پاسخ‌های نادرست یا فاقد پشتوانه کافی تولید کردند. نتایج آن بررسی مربوط به سامانه‌ها و شرایط همان پژوهش است و نباید به همه ابزارها یا نسخه‌های امروز تعمیم داده شود. [۳]
برای ارزیابی طراحی یک ابزار، سه پرسش کاربردی مطرح کنید:
- آیا متن مرتبط را از مخزنی با منشأ و نسخه مشخص بازیابی می‌کند؟
- آیا می‌توان هر استناد پاسخ را به همان متن بازیابی‌شده متصل کرد؟
- آیا ناسازگاری‌ها و ادعاهای فاقد پشتوانه بررسی و برای کاربر مشخص می‌شوند؟
این‌ها معیارهای پیشنهادی برای ارزیابی‌اند، نه تضمین حذف خطا. حتی سامانه‌ای که خروجی خودش را کنترل می‌کند ممکن است برخی اشتباه‌ها را تشخیص ندهد. نبود علامت هشدار را معادل تأیید نهایی نگیرید.
از یک دستیار حقوقی چه انتظاری داشته باشیم؟
ابزار مفید باید مسیر رسیدن به منبع را کوتاه‌تر و بررسی پاسخ را آسان‌تر کند. هنگام انتخاب یا آزمودن آن، ببینید آیا متن کامل منبع در دسترس است، نسخه سند مشخص است و نقل‌قول از تحلیل جدا شده است یا نه.
برای سنجش، فقط سراغ سؤال‌هایی نروید که جوابشان در منبع واضح است. پرسشی با اطلاعات ناکافی یا فرض نادرست هم مطرح کنید و ببینید ابزار چگونه محدودیت پاسخ را توضیح می‌دهد. چنین آزمونی بهتنهایی کیفیت کلی سامانه را ثابت نمیکند، اما برای مقایسه رفتار ابزارها مفید است.
در نهایت، تطبیق مقررات با جزئیات پرونده و انتخاب راهبرد حقوقی نیازمند بررسی حرفه‌ای است. پاسخ منظم و خوش‌خوان میتواند نقطه شروع تحقیق باشد؛ پشتوانه استدلال را باید در منابع و تحلیل آن‌ها پیدا کرد.
پیش از استفاده از پاسخ، متن ماده را ببینید
اگر اکنون پاسخ حقوقی‌ای در اختیار دارید، از یکی از استنادهای آن شروع کنید. نام قانون و شماره ماده را در بخش جستجوی مواد قانونی هوشیار وکیل جست‌وجو کنید؛ سپس متن پیدا‌شده را با نقل‌قول و نتیجه پاسخ مقایسه کنید. منشأ و نسخه سند را هم در بررسی خود در نظر بگیرید.
پرسش‌های متداول
آیا همه استنادهای هوش مصنوعی جعلی هستند؟
خیر. پاسخ میتواند شامل منابع درست باشد، اما درستی چند استناد، صحت کل پاسخ را ثابت نمیکند. هر منبعی که در استدلال نهایی نقش دارد باید جداگانه بررسی شود.
اگر شماره ماده درست باشد، می‌توان به پاسخ اعتماد کرد؟
هنوز باید متن، نسخه قابل اعمال و ارتباط آن با نتیجه بررسی شود. ممکن است شماره درست باشد، اما توضیح دستیار با محتوای ماده مطابقت نداشته باشد.
آیا درخواست لینک منبع کافی است؟
خیر. صفحه مقصد را باز کنید و بخش پشتیبان ادعا را بخوانید. لینک معتبر ممکن است به سندی مربوط باشد که نتیجه مطرح‌شده را تأیید نمیکند.
آیا پرسیدن «مطمئنی؟» اشتباه را مشخص می‌کند؟
ممکن است باعث بازبینی پاسخ شود، اما روش قابل اتکایی برای تأیید منبع نیست. به‌جای تأیید شفاهی، متن اصلی و مشخصات قابل بررسی بخواهید.
آیا ابزار حقوقی دارای RAG هم به بررسی نیاز دارد؟
بله. وجود قابلیت بازیابی بهتنهایی درستی پاسخ را تضمین نمیکند. منبع ارائهشده و نحوه استفاده از آن در استدلال را بررسی کنید.
منابع
-
متن تصمیم دادگاه در پرونده Mata v. Avianca، مورخ ۲۲ ژوئن ۲۰۲۳، سند شماره ۵۴
-
Retrieval-Augmented Generation for Large Language Models: A Survey
-
Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools