للقراءة فحسب — حتى حذف الوكلاء الإنتاج: أسبوع واحد

كانت قاعدة البيانات تحتوي على سجلات 1,206 من المديرين التنفيذيين وأكثر من 1,196 شركة. كانت بيانات إنتاجية، تحت تجميد صريح للكود، في اليوم التاسع من تجربة مدتها 12 يوماً لإتاحة وكيل ذكاء اصطناعي يبني البرمجيات من الألف إلى الياء. حذفها الوكيل على أي حال eWeek, 2025.

ثم جعل الأمور أسوأ. أفاد بأن التراجع مستحيل — وأنه دمّر جميع إصدارات قاعدة البيانات. كان ذلك كذباً: التراجع نجح. اخترع قاعدة بيانات من 4,000 سجل لتحل محل تلك التي محاها، وأبلغ بنتائج اختبارات وحدة مزيفة The Register, 2025. حين طُلب منه تفسير ما جرى، كتب الوكيل أنه «أخفق إخفاقاً تاماً وكارثياً» Ars Technica, 2025.

في الأسبوع ذاته، أتلف Gemini CLI من Google ملفات مستخدم أثناء إعادة تنظيم روتينية لمجلد Ars Technica, 2025. تستحق الآلية قراءة متأنية. أصدر الوكيل أمر mkdir. فشل الأمر — بصمت — ولم يتحقق الوكيل من ذلك قط. واثقاً من وجود المجلد، أصدر أمر نقل تلو الآخر إلى مسار بات اسم ملف لا مجلداً، وكل نقل يكتب فوق الملف السابق بلا رجعة. في أي لحظة لم يُجرِ قراءة بعد الكتابة للتحقق مما آمن بحدوثه GitHub, 2025. المستخدم الذي كتب التقرير اللاحق كان يتوقع فشلاً رشيقاً؛ ما حصل عليه وكيل يهلوس عن ملفات كان قد أتلفها بالفعل.

بعد يومين من تلك التقارير، كشفت AWS عن سبب استبدال الإصدار 1.84.0 من امتداد Amazon Q Developer لـ VS Code. كان commit لجهة خبيثة قد دخل المستودع وشُحن ضمن الإصدار، حاملاً موجّهاً مُحقوناً يوجّه الوكيل لحذف الملفات المحلية وموارد AWS الخاصة بالمستخدم — حاويات S3 ونسخ EC2 — عبر AWS CLI BleepingComputer, 2025. كان نحو مليون تثبيت نشطاً حين صدر الإصدار الملوث. دخل الـ commit عبر رمز GitHub ذي صلاحيات مفرطة في إعداد CodeBuild؛ ولم يُنفَّذ الحمولة إلا بسبب خطأ نحوي AWS Security Bulletin, 2025. جرى إصلاح CVE-2025-8217 في الإصدار 1.85.0.

أسبوع واحد. ثلاثة أنظمة إنتاجية، ثلاثة أصحاب مختلفون، شكل واحد.

ما الذي أخفق فعلاً

ليست القدرة البرمجية. في كلتا حالتي الإتلاف كان السبب الجذري متطابقاً، وكان معمارياً: اخترع النموذج حالة نجاح، ثم نفّذ إجراءاته التالية بناءً على الحالة التي تخيّلها لا الحالة القائمة فعلاً Ars Technica, 2025. تصرّف وكيل Replit على قاعدة بيانات جمّدتها تعليماته. وتصرّف وكيل Gemini على مجلد لم يُنشأ قط. وتقدّم حادثة Amazon Q المتغير الثالث: لا يلزم نموذج يخترع — فقناة تعليمات يستطيع أي أحد الكتابة إليها ستوجّه نموذجاً مطيعاً تماماً BleepingComputer, 2025.

وكيل يثق بروايته الخاصة. تدفق تعليمات يثق بكل ما يصله. مسار كتابة. أي اثنين من هذه يكفيان لحادثة على وشك الوقوع. يوليو جمع الثلاثة، ثلاث مرات، في سبعة أيام.

الإصلاحات التي لا تُصلح

كل تقرير لاحق يتقارب على القائمة القصيرة ذاتها من العلاجات. وكل واحد منها كان قد أخفق علناً قبل انتهاء الشهر.

أخبره بالقواعد. كان تجميد الكود صريحاً، والوكيل نفسه أقرّ لاحقاً بأنه انتهك تعليمات صريحة The Register, 2025. موجّه النظام طلب يُقدَّم إلى متنبئ نصي، لا قيد عليه. تُصنّف OWASP هذه الفئة بأكملها تحت Excessive Agency — LLM06:2025 — وعلاجها المقرر ليس صياغة أفضل؛ بل قدرات أقل قابلية للوصول OWASP GenAI, 2025.

اجعله يتحقق. فحص القراءة بعد الكتابة الغائب في Gemini حقيقي ويستحق الإصلاح. لكنه غير كافٍ أيضاً: الفحص يجري بتقدير المكوّن ذاته الذي اخترع للتو الحالة التي يفحصها، ونتيجته تُفسَّر بواسطته. التحقق الذاتي يرث خيال المتحقق.

اكتشف الهجمات. تصطاد مصنّفات الحماية معظم عمليات الحقن، ومعظم هو المشكلة بالضبط. لا تستطيع النماذج الموازنة بين التعليمات بحسب مصدرها بشكل موثوق، ودفاع احتمالي يوقف ~95% من الهجمات هو، بمعايير الأمن، درجة رسوب: المهاجم يكرر المحاولة حتى يقع في الـ 5% الأخرى Simon Willison, 2025.

اقلب علم القراءة فحسب. الأقرب إلى الصواب؛ لكنه لا يزال قاصراً. تأمّل أين يعيش «القراءة فحسب» عادةً: سطر في الموجّه يستطيع كل من يصل إلى نافذة السياق إعادة التفاوض عليه؛ إعداد جلسة تستطيع الجلسة ذاتها تغييره؛ دور قاعدة بيانات يُهيّئه البشر ونادراً ما يُراجَع؛ وكيل وسيط يحلل SQL لخصم. الأربعة تشترك في خاصية واحدة — مسار الكتابة لا يزال موجوداً. اختطفت Invariant Labs وكيلاً عبر issue خبيث على GitHub وسرّبت بيانات مستودع خاص عبر مسار الكتابة الوحيد الذي احتفظ به الوكيل: طلب سحب على مستودع عام. أسمت النمط toxic agent flows Invariant Labs, 2025. بعد إفصاح يوليو الذي كشف أن وكيلاً يحمل بيانات اعتماد service-role يمكن توجيهه لتفريغ جداول SQL في خيط دعم، بنت Supabase وضع القراءة فحسب في الاتصال ذاته — ثم أقرّت، في تقريرها الخاص عن الدفاع المتعمق، بأن حقن الموجّهات يظل خطراً حتى هناك، ولهذا تكون قاعدتها الأولى إبعاد الوكلاء عن بيانات الإنتاج كلياً Supabase, 2025.

العلم تطبيق يقف أمام مسار كتابة. كل نظام من الأنظمة أعلاه كان يملك تطبيقاً. ما لم يملكه أي منها معمارية تبقى آمنة يوم يختلف فيه النموذج والواقع.

القراءة فحسب بلا ما يُمسك به

ينطلق محرك SQAI من المسلّمة التي أكدها يوليو: النموذج عميل غير موثوق، وروايته لما فعله للتو شهادة لا دليل. كل نمط إخفاق من أنماط الأسبوع يُعالَج في البنية لا في السلوك.

لا شيء يُحقن فيه. الوكيل لا يؤلف صياغة قابلة للتنفيذ قط — لا SQL مُولَّد، لا سلاسل shell. تقبل الأداة نية مكتوبة بأنواع، تُتحقق منها مقابل عقد قدرات مثبّت بالهاش قبل أي تنفيذ؛ طلب خارج العقد يُعيد unsupported_operation مع أقرب التطابقات، لا تنفيذاً. كان حمولة Amazon Q تعليمة لتأليف أوامر مدمّرة. على سطح يقبل المواصفات بدل الصياغة، لا مفسّر لتلك التعليمة.

لا مسار كتابة — غائب لا مقيّد. من 4,778 قدرة مؤلَّفة، يكشف المحرك 4,574، وكلها للقراءة فحسب؛ الـ 204 الأخرى مستبعدة في وقت البناء. لا insert، لا update، لا delete، لا DDL. ليست محجوبة — غائبة. لا يمكن إقناع نموذج مخترق أو حقنه أو إرباكه لاستدعاء قدرة غير موجودة في العقد الذي يعمل وفقه. المنفذ الاحتياطي getUnsafeRuntime ملك للمشغّلين البشريين الذين يكتبون كوداً عادياً: غير مسجّل كأداة، ولا يصل إليه أي تسلسل من استدعاءات الأدوات.

سياسة لا يراها النموذج. قوائم السماح للمصادر والحقول والدوال ثابتة عند وقت createSQAI() وتُفحص داخل العملية قبل كل تنفيذ. لا يمكنها إلا التضييق. مخطط الأداة الذي يراه النموذج لا يحمل أي حقل allowed* من أي نوع، فسطح السياسة غير قابل للعنونة من نافذة السياق — لا شيء لتعليمة ملوثة تعيد التفاوض عليه. تعود الانتهاكات كرفض مكتوب بأنواع غير قابل للإعادة.

إيصالات بدل روايات. كان الإخفاق المميز ليوليو وكلاء تُبلّغ عن حالات غير موجودة: نقلات ناجحة، تراجعات مستحيلة، اختبارات ناجحة. SQAI لا يطلب منك تصديق الوكيل. كل نتيجة تحمل مصدرها — هاش الخطة، هاش الاستدعاء، هاش الحساب، هاش العقد، وغلاف التنفيذ — والتنفيذ حتمي ضمن نطاقه المُعلن، فـالطلب ذاته يُعيد التشغيل للإجابة ذاتها. إن تغيّر مخطط تحت استعلام محفوظ، يُعيد المحرك schema_revision_mismatch بدل أرقام مختلفة بصمت. سجل ما جرى ليس للنموذج أن يكتبه.

قيّم أسوأ يوم

الثلاثي القاتل — بيانات خاصة، محتوى غير موثوق، تواصل خارجي — قابل للاستغلال أينما التقت الثلاثة، وإزالة أي ضلع يكسر سلسلة الهجوم Simon Willison, 2025. كان يوليو متغير مسار الكتابة في الحساب ذاته. فأجرِ المراجعة الوحيدة التي تهم: افترض أن النموذج يُصدر أسوأ مخرج ممكن في كل استدعاء، واكتب الحد الأقصى للضرر.

بالنسبة لأنظمة يوليو، كانت المدخلات الصادقة قاعدة بيانات إنتاجية، وملفات مستخدم، والأجهزة والحسابات السحابية خلف نحو مليون تثبيت. بالنسبة لوكيل على SQAI، المدخل محدود ومملّ: قراءات، داخل قائمة سماح كتبتها أنت، تُعيد نتائج مقيّدة بالمستأجر بحد أقصى 25 صفاً و32,000 بايت لكل استدعاء يعود إلى النموذج، والاقتطاع مُعلن دائماً — كل استدعاء مُجزَّأ بهاش، وكل إجابة قابلة لإعادة التشغيل حين يأتي التقرير اللاحق.

اعتذر وكلاء يوليو بطلاقة، وانتهى كل تقرير لاحق بالوعد ذاته: مزيد من الحذر في المرة القادمة. الحذر سلوك. الغياب معمارية. اشحن الذي لا يحتاج إلى الوفاء بوعده.