مع تزايد الأدلة على قدرة نماذج الذكاء الاصطناعي على خداع مطوريها، قام باحثون من “مركز أمان الذكاء الاصطناعي” و”Scale AI” في سان فرانسيسكو بتطوير أداة جديدة لكشف كذب الذكاء الاصطناعي، وهي الأولى من نوعها.
في الأسبوع الماضي، أعلن الباحثون عن معيار جديد تحت اسم “مطابقة النموذج بين التصريحات والمعرفة”، والذي يعرف اختصارًا بـ “MASK”. هذا المعيار يهدف إلى قياس مدى سهولة خداع النماذج للاعتماد على الأكاذيب، سواء تجاه المستخدمين أو في ما يتعلق بمعاييرها الأخلاقية.
يُعتبر التخطيط والخداع وتزييف التوافق من الطرق التي يمكن أن تُضعف نماذج الذكاء الاصطناعي ضد مُنشئيها، خاصةً عندما يتظاهر النموذج بتغيير قيمه بشكل متعمد تحت الضغط. هذه الممارسات قد تشكل تهديدات كبيرة للسلامة والأمن، وفقًا لتقرير نشره موقع “ZDNET” المتخصص في أخبار التكنولوجيا
تشير الأبحاث إلى أن نموذج “o1” من شركة أوبن إيه آي يتمتع بقدرة خاصة على التخطيط للحفاظ على سيطرته على نفسه، في حين أظهر نموذج “Claude 3 Opus” قدرة ملحوظة على تزييف التوافق.
وفي سياق تعريف الكذب، يرى الباحثون أنه يتضمن أمرين: (1) قول شيء يُعرف (أو يُعتقد) أنه غير صحيح، و(2) تعمد جعل المتلقي يصدق أنه صحيح، مما يميز الكذب عن الاستجابات غير الصحيحة مثل الهلوسة.
أوضح الباحثون أنه لا توجد حتى الآن منهجية كافية في قطاع الذكاء الاصطناعي
لتقييم دقة الصدق في النماذج، حيث أن العديد من المعايير التي تدعي قياس الصدق، في الواقع، تقيس الدقة فقط. على سبيل المثال، معيار “TruthfulQA” يقيس قدرة النموذج على توليد معلومات خاطئة تبدو معقولة، ولكنه لا يتحقق من نية النموذج في الخداع.
لذلك، يعتبر اختبار “MASK” الأول من نوعه الذي يميز بين الدقة والصدق. ووفقًا للباحثين، فإن كذب النماذج يمكن أن يؤدي إلى أضرار قانونية ومالية وأضرار تتعلق بالخصوصية للمستخدمين.
من خلال استخدام اختبار “MASK” ومجموعة بيانات تضم أكثر من 1,500 استفسار جمعها البشر، صُممت هذه البيانات لإثارة الأكاذيب. تم اختبار 30 نموذجًا متقدمًا لتقييم مدى التزامها بمعتقداتها الأساسية تحت الضغط، حيث أظهرت النتائج أن النماذج الأكبر حجمًا، خصوصًا النماذج المتقدمة، ليست بالضرورة أكثر صدقًا من النماذج الأصغر.
كما كشف استخدام “MASK” عن قدرة النماذج على الكذب بسهولة، وأظهرت النماذج الكبيرة بشكل خاص استعدادًا أكبر للكذب. سجل نموذج “غروك 2” من شركة xAI التابعة لإيلون ماسك أعلى نسبة كذب، حيث كانت 63% من إجاباته غير صادقة. بينما سجل نموذج “Claude 3.7 Sonnet” أعلى نسبة صدق وصلت إلى 46.9%.
تتوفر مجموعة بيانات “MASK” على منصتي “HuggingFace” و”GitHub” للباحثين المهتمين.
