ترحيل Datadog بمساعدة الذكاء الاصطناعي يخفض التكلفة 90%

لماذا ضاقت قاعدة المفاتيح والقيم بـ Stream Router

كانت مشكلة Datadog خدمة توجيه تحولت إلى عنق زجاجة. فـ Stream Router هي مستوى تحكم داخلي يخبر المنتجين بمكان كتابة بيانات المقاييس ويخبر المستعلمين بمكان قراءتها، فيختار عنقود Kafka والموضوع والأقسام لكل نقطة بيانات في منصة تعالج أكثر من مئة تريليون حدث في اليوم.

وبدأت الخدمة حلًا لمشكلة أقدم. ففي 2016 كان التوجيه يُدار عبر ملف إعدادات من ثلاثة أسطر، نما إلى آلاف الأسطر تُحرَّر يدويًا. فحلّت محله Stream Router، خدمة gRPC يعمل مسار الكتابة فيها على FoundationDB بنموذج المفاتيح والقيم.

ومع نمو جدول التوجيه، اصطدمت العمليات الحرجة بحدود حجم المعاملات في FoundationDB. وكانت الأكثر تطلبًا تستغرق حتى 45 دقيقة بسبب آلاف الرحلات المتتابعة ذهابًا وإيابًا. والمسارات والتدفقات واستراتيجيات التجزئة والقواعد علائقية بطبيعتها، فكانت الشيفرة تسحب عشرات الآلاف من الإدخالات إلى عمليات الحاويات وتعمل كقاعدة بيانات علائقية داخل العملية.

ما الذي غيّرته Datadog في نموذج البيانات

كان الحل مخططًا علائقيًا. فأعاد المهندسون تصميم نموذج البيانات حول العلاقات بين هذه الكيانات، لتتمكن المفاتيح الأجنبية في PostgreSQL من فرض قواعد كانت شيفرة التطبيق تعيد بناءها يدويًا.

وجعلت الوحدوية القوية التبديل ممكنًا: فنفّذت Stream Router الجديدة الواجهة البرمجية نفسها على PostgreSQL بدل FoundationDB، دون حاجة إلى تغييرات في أي مكان آخر. وبقيت المهمة في إعادة هيكلة قاعدة الشيفرة كلها من النموذج القديم إلى الجديد، وهنا استعان الفريق بـ Claude وCursor.

كيف عمل Claude وCursor طريقةً طريقةً

عملت النماذج داخل حلقة محكمة لا بمفردها. وقد وصف المهندس أرنولد واكيم ذلك هكذا.

"لم تكن تولّد الشيفرة بصورة مستقلة: ففي كل طريقة، قدمنا التنفيذ القديم والمخطط الجديد واختبارًا فاشلًا." — أرنولد واكيم، مهندس في Datadog

أنتجت النماذج مسودة أولى، وحسمت الاختبارات صحتها. وسار العمل في ثلاث مراحل: وصف Claude أولًا غاية كل دالة أساسية؛ ثم كتب المهندسون موجّهات مركّزة لإصلاح الاختبارات الفاشلة، مع السلوك المتوقع والسياق من الخطوة الأولى؛ وأخيرًا انتقلت الخدمة الجديدة إلى الإنتاج بإعداد blue/green.

كيف حافظ الفريق على أمان الحركة الحية

جاء أمان الإنتاج من تشغيل النظامين معًا. فعالجت نسختان مستقلتان من Stream Router، إحداهما على PostgreSQL والأخرى على FoundationDB، الطلبات نفسها بينما نقلت أعلام الميزات العملاء بينهما. وقارنت خدمة تحقق في كل عنقود ردود التوجيه ونبّهت الفريق فورًا إذا اختلفت.

أين قصّرت النماذج

كانت للنماذج حدود واضحة، ويعددها واكيم. فالموجّهات الأعلى مستوى عملت بشكل سيئ. وكتب Claude استعلامات تعطي نتائج صحيحة لكنها تصدر رحلات ذهاب وإياب أكثر بكثير من اللازم، وتطلبت تحسينات مثل التجميع في دفعات وUNNEST والتعبيرات الجدولية المشتركة تدخلًا بشريًا. وبعد أن كتب المهندسون النمط المحسَّن، كررته النماذج في الطرق اللاحقة، لكنها لم تكتشفه بنفسها قط. كما ارتفع استهلاك الرموز، لأن الفريق غذّى الحلقة بمخرجات الاختبار الكاملة بدل مقتطفات مقصوصة.

ما الذي حققه الترحيل

النتائج المقاسة من الشركة نفسها. فالعمليات التي استغرقت 45 دقيقة هبطت إلى نحو ثانية، وانخفض زمن الاستجابة من مئات الميلي ثانية إلى بضع ميلي ثوانٍ. وصار تخزين البيانات أصغر بما يصل إلى 40 ضعفًا، وتراجع استخدام المعالج والذاكرة، وانخفضت تكاليف قاعدة البيانات بنسبة 90%. وتقول Datadog إنها ما كانت لتنجز التنفيذ في الوقت المتاح لها دون أدوات الذكاء الاصطناعي.

ماذا يقول هذا للفرق التي تخطط لإعادة هيكلة بمساعدة الذكاء الاصطناعي

بالنسبة إلى مؤسسة هندسية، المهمة هنا إعادة هيكلة كبيرة ومتكررة لشيفرة إنتاجية تحت موعد نهائي. ويشير ترحيل Datadog بمساعدة الذكاء الاصطناعي إلى موضع القيمة: سرّعت النماذج الكتابة، بينما جعلت مجموعة الاختبارات والتصميم الوحدوي ومدقق التشغيل المتوازي هذه السرعة آمنة. ويخلص واكيم إلى أن قوة مجموعة الاختبارات حدّدت إلى أي مدى استطاع الفريق الوثوق بالشيفرة المولَّدة. وفريق بلا هذه المجموعة سيحصل على الشيفرة نفسها أسرع، دون وسيلة لمعرفة أصحيحة هي أم لا.

أسئلة وأجوبة

كيف استخدمت Datadog كلًا من Claude وCursor في الترحيل؟

في كل طريقة، قدّم المهندسون للنماذج التنفيذ القديم والمخطط الجديد واختبارًا فاشلًا. وكتبت النماذج مسودة أولى، وأظهرت الاختبارات صحتها.

ما النتائج التي أنتجها الترحيل إلى PostgreSQL؟

تقول Datadog إن العمليات انخفضت من 45 دقيقة إلى نحو ثانية، وإن زمن الاستجابة هبط من مئات الميلي ثانية إلى بضع ميلي ثوانٍ، وإن التخزين تقلص بما يصل إلى 40 ضعفًا، وإن تكاليف قاعدة البيانات انخفضت 90%.

ما الذي عجزت عنه نماذج الذكاء الاصطناعي؟

كتبت استعلامات صحيحة لكنها بطيئة. فالتجميع في دفعات وUNNEST والتعبيرات الجدولية المشتركة احتاجت إلى مهندسين بشر، ولم تعد النماذج استخدام هذه الأنماط إلا بعد أن رأتها.