كشفت جوجل في بيان عبر موقعها الرسمي عن الاسباب التي أدت الى انقطاع خدماتها على نطاق عالمي يوم الاثنين 14 ديسمبر الجاري.
وقالت جوجل ان الانقطاع استمر لمدة 47 دقيقة وان فريق الطوارئ الفني في الشركة علم بالمشكلة بعد دقيقة واحدة فقط من حدوثها.
وقال البيان انه في يوم الاثنين 14 ديسمبر 2020، ولمدة 47 دقيقة، لم تكن خدمات جوجل التي تواجه العملاء والتي تتطلب وصول Google OAuth متاحة. لم تتأثر حسابات Cloud Service التي تستخدم أحمال عمل GCP واستمرت في العمل.
السبب الجذري
تحتفظ خدمة معرّف مستخدم جوجل بمعرّف فريد لكل حساب وتعالج بيانات اعتماد المصادقة لرموز OAuth المميزة وملفات تعريف الارتباط. يقوم بتخزين بيانات الحساب في قاعدة بيانات موزعة، والتي تستخدم بروتوكولات Paxos لتنسيق التحديثات. لأسباب أمنية، سترفض هذه الخدمة الطلبات عندما تكتشف بيانات قديم
تستخدم جوجل مجموعة متطورة من أدوات التشغيل الآلي لإدارة حصة الموارد المختلفة المخصصة للخدمات. كجزء من الترحيل المستمر لخدمة معرف المستخدم إلى نظام حصص جديد، تم إجراء تغيير في أكتوبر لتسجيل خدمة معرف المستخدم بنظام الحصص الجديد، ولكن تم ترك أجزاء من نظام الحصص السابق في مكانها الذي أبلغ عن الخطأ بشكل غير صحيح استخدام خدمة معرف المستخدم كـ 0.
جوجل تشرح سبب توقف خدماتها على نطاق عالمي يوم 14 ديسمبر
أدت فترة السماح الحالية لفرض قيود الحصة النسبية إلى تأخير التأثير، الذي انتهى في النهاية، مما أدى إلى تشغيل أنظمة الحصص المؤتمتة لتقليل الحصة المسموح بها لخدمة معرف المستخدم وتسبب في هذا الحادث. توجد فحوصات السلامة الحالية لمنع العديد من التغييرات غير المقصودة في الحصص، ولكنها في ذلك الوقت لم تغطي سيناريو عدم وجود حمل تم الإبلاغ عنه لخدمة واحدة:
• تغيير الحصة لعدد كبير من المستخدمين، حيث أن مجموعة واحدة فقط هي الهدف من التغيير،
• خفض الحصة إلى ما دون الاستخدام، حيث تم الإبلاغ عن الاستخدام المبلغ عنه بشكل غير دقيق على أنه صفر،
• التخفيض المفرط في الحصة لأنظمة التخزين، حيث لم يتم إطلاق أي تنبيه خلال فترة السماح،
• حصة منخفضة، لأن الفرق بين الاستخدام والحصص تجاوز حد الحماية.
ونتيجة لذلك، تم تخفيض الحصة المخصصة لقاعدة بيانات الحسابات، مما منع بروتوكول Paxos من الكتابة. بعد فترة وجيزة، أصبحت غالبية عمليات القراءة قديمة مما أدى إلى حدوث أخطاء في عمليات بحث المصادقة.
وجاء في نهاية البيان: “نعتذر لعملائنا الذين تأثرت خدماتهم أو أعمالهم خلال هذا الحادث، ونتخذ خطوات فورية لتحسين أداء النظام الأساسي وتوافره”.
لا يسمح بنقل هذا المحتوى من سوالف دون الاشارة برابط مباشر
