Datadog AI-असिस्टेड माइग्रेशन: डेटाबेस लागत 90% कम
Datadog AI-असिस्टेड माइग्रेशन ने Stream Router, यानी कंपनी की मेट्रिक्स पाइपलाइन को रूट करने वाली सेवा, को लाइव ट्रैफ़िक में रुकावट के बिना FoundationDB से PostgreSQL पर पहुंचाया, इंजीनियर अर्नोल्ड वाकिम ने एक पोस्ट में लिखा जिसे InfoQ ने 10 जुलाई 2026 को कवर किया। इंजीनियरों ने फ़ेल हो रहे टेस्ट के सामने Claude और Cursor को मेथड-दर-मेथड इस्तेमाल किया। कंपनी का कहना है कि सबसे भारी ऑपरेशन 45 मिनट से घटकर करीब एक सेकंड के हो गए और डेटाबेस लागत 90% गिरी, और यह नतीजा मॉडलों जितना ही टेस्ट सूट पर टिका था।
Stream Router अपने की-वैल्यू स्टोर से बड़ा क्यों हो गया
Datadog की समस्या एक रूटिंग सेवा थी जो बॉटलनेक बन गई थी। Stream Router एक आंतरिक कंट्रोल प्लेन है जो प्रोड्यूसर्स को बताता है कि मेट्रिक्स डेटा कहां लिखना है और क्वेरी करने वालों को कहां से पढ़ना है, और वह ऐसे प्लेटफ़ॉर्म पर हर डेटापॉइंट के लिए Kafka क्लस्टर, टॉपिक और पार्टिशन चुनता है जो रोज़ सौ ट्रिलियन से ज़्यादा इवेंट प्रोसेस करता है।
यह एक पुरानी समस्या के हल के रूप में शुरू हुआ। 2016 में रूटिंग तीन पंक्तियों की कॉन्फ़िगरेशन फ़ाइल से संभाली जाती थी, जो बढ़कर हज़ारों पंक्तियों की हो गई और हाथ से एडिट होती थी। Stream Router ने उसकी जगह एक gRPC सेवा ली जिसका राइट पाथ की-वैल्यू मॉडल के साथ FoundationDB पर चलता था।
रूटिंग टेबल बढ़ने पर अहम ऑपरेशन FoundationDB की ट्रांज़ैक्शन साइज़ सीमाओं से टकराने लगे। सबसे मुश्किल ऑपरेशन हज़ारों क्रमवार राउंड ट्रिप के कारण 45 मिनट तक लेते थे। रूट, स्ट्रीम, शार्डिंग रणनीतियां और नियम स्वभाव से रिलेशनल हैं, इसलिए कोड हज़ारों एंट्री को पॉड प्रोसेस में खींचता था और इन-प्रोसेस रिलेशनल डेटाबेस की तरह काम करता था।
Datadog ने डेटा मॉडल में क्या बदला
हल रिलेशनल स्कीमा था। इंजीनियरों ने इन इकाइयों के आपसी संबंधों के आधार पर डेटा मॉडल दोबारा डिज़ाइन किया, ताकि PostgreSQL की फ़ॉरेन की ऐसे नियम लागू कर सकें जिन्हें एप्लिकेशन कोड हाथ से दोबारा बना रहा था।
मज़बूत मॉड्यूलैरिटी ने बदलाव संभव बनाया: नया Stream Router वही API FoundationDB की जगह PostgreSQL पर लागू करता था, और बाक़ी जगह कुछ बदलने की ज़रूरत नहीं थी। बचा हुआ काम पूरे कोडबेस को पुराने मॉडल से नए मॉडल में रीफ़ैक्टर करना था, और यहीं टीम ने Claude और Cursor को लगाया।
Claude और Cursor ने मेथड-दर-मेथड कैसे काम किया
मॉडल एक कसे हुए लूप में चले, अपने आप नहीं। इंजीनियर अर्नोल्ड वाकिम ने इसे ऐसे बताया।
"वे अपने आप कोड नहीं बना रहे थे: हर मेथड के लिए हमने पुराना इम्प्लीमेंटेशन, नई स्कीमा और एक फ़ेल होता टेस्ट दिया।" अर्नोल्ड वाकिम, Datadog के इंजीनियर
मॉडलों ने पहला ड्राफ़्ट बनाया, और टेस्ट ने तय किया कि वह सही है या नहीं। काम तीन चरणों में चला: पहले Claude ने हर अहम फ़ंक्शन का मक़सद बताया; फिर इंजीनियरों ने फ़ेल हो रहे टेस्ट सुधारने के लिए अपेक्षित व्यवहार और पहले चरण के संदर्भ के साथ केंद्रित प्रॉम्प्ट लिखे; और आख़िर में नई सेवा ब्लू/ग्रीन सेटअप में प्रोडक्शन में गई।
टीम ने लाइव ट्रैफ़िक को सुरक्षित कैसे रखा
प्रोडक्शन की सुरक्षा दोनों सिस्टम को एक साथ चलाने से आई। Stream Router के दो स्वतंत्र इंस्टेंस, एक PostgreSQL पर और एक FoundationDB पर, फ़ीचर फ़्लैग से क्लाइंट्स को उनके बीच ले जाए जाने के दौरान एक ही अनुरोध संभालते रहे। हर क्लस्टर की एक वैलिडेटर सेवा ने रूटिंग जवाबों की तुलना की और अंतर होने पर टीम को तुरंत अलर्ट किया।
मॉडल कहां कमज़ोर पड़े
मॉडलों की साफ़ सीमाएं थीं, और वाकिम उन्हें गिनाते हैं। ऊंचे स्तर के प्रॉम्प्ट कमज़ोर चले। Claude ने ऐसी क्वेरी लिखीं जो सही नतीजे देती थीं पर ज़रूरत से कहीं ज़्यादा राउंड ट्रिप करती थीं, और बैचिंग, UNNEST और कॉमन टेबल एक्सप्रेशन जैसे ऑप्टिमाइज़ेशन के लिए इंसानी इनपुट चाहिए था। जब इंजीनियर ऑप्टिमाइज़्ड पैटर्न लिख देते, तो मॉडल उसे बाद के मेथड में दोहराते, पर उसे ख़ुद कभी नहीं खोज पाए। टोकन का इस्तेमाल भी ज़्यादा रहा, क्योंकि टीम लूप में छंटे हुए अंश की जगह पूरा टेस्ट आउटपुट डालती थी।
माइग्रेशन ने क्या दिया
मापे गए नतीजे कंपनी के अपने हैं। जो ऑपरेशन 45 मिनट लेते थे वे करीब एक सेकंड में होने लगे, और लेटेंसी सैकड़ों मिलीसेकंड से घटकर कुछ मिलीसेकंड रह गई। डेटा स्टोरेज 40 गुना तक छोटा हुआ, CPU और मेमोरी का इस्तेमाल घटा और डेटाबेस लागत 90% गिरी। Datadog का कहना है कि AI टूल के बिना वह अपने पास मौजूद समय में इम्प्लीमेंटेशन पूरा नहीं कर पाता।
AI-असिस्टेड रीफ़ैक्टरिंग की योजना बना रही टीमों के लिए इसका क्या मतलब है
इंजीनियरिंग संगठन के लिए यहां काम है डेडलाइन के भीतर प्रोडक्शन कोड की बड़ी, दोहराव वाली रीफ़ैक्टरिंग। Datadog AI-असिस्टेड माइग्रेशन बताता है कि मूल्य कहां बैठता है: मॉडलों ने टाइपिंग तेज़ की, जबकि टेस्ट सूट, मॉड्यूलर डिज़ाइन और साथ-साथ चलने वाले वैलिडेटर ने उस गति को सुरक्षित बनाया। वाकिम का निष्कर्ष है कि टेस्ट सूट की मज़बूती ने तय किया कि टीम AI के बनाए कोड पर कितना भरोसा कर सकती थी। ऐसे सूट के बिना टीम को वही कोड जल्दी मिलता, पर यह जानने का कोई तरीक़ा नहीं होता कि वह सही है या नहीं।
सवाल और जवाब
Datadog ने माइग्रेशन में Claude और Cursor का इस्तेमाल कैसे किया?
हर मेथड के लिए इंजीनियरों ने मॉडलों को पुराना इम्प्लीमेंटेशन, नई स्कीमा और एक फ़ेल होता टेस्ट दिया। मॉडलों ने पहला ड्राफ़्ट लिखा, और टेस्ट ने दिखाया कि वह सही है या नहीं।
PostgreSQL माइग्रेशन के क्या नतीजे रहे?
Datadog के मुताबिक ऑपरेशन 45 मिनट से घटकर करीब एक सेकंड के हुए, लेटेंसी सैकड़ों मिलीसेकंड से घटकर कुछ मिलीसेकंड रह गई, स्टोरेज 40 गुना तक सिकुड़ा और डेटाबेस लागत 90% गिरी।
AI मॉडल क्या नहीं कर पाए?
उन्होंने सही लेकिन धीमी क्वेरी लिखीं। बैचिंग, UNNEST और कॉमन टेबल एक्सप्रेशन के लिए इंसानी इंजीनियर चाहिए थे, और मॉडलों ने उन पैटर्न को देखने के बाद ही दोहराया।
MOZGII की राय
हम इसे कैसे बनाते
इस मामले का सबक़ यह है कि मॉडल सबसे कम असामान्य हिस्सा था। Datadog को मशीन के लिखे कोड पर भरोसा हर मेथड के लिए एक टेस्ट, न बदलने वाले इंटरफ़ेस और एक ही अनुरोधों का जवाब साथ-साथ देते दो लाइव सिस्टम से मिला। कोई भी बड़ी रीफ़ैक्टरिंग हम मॉडल चुनने से पहले इन्हीं तीन चीज़ों के इर्द-गिर्द बनाते।
व्यवहार में हम पहले फ़ेल होने वाले टेस्ट लिखते, हर मेथड के लिए एक, और उन्हें स्पेसिफ़िकेशन मानते। मॉडल को हर काम के लिए एक छोटा, तय पैकेज मिलता: पुराना कोड, नई स्कीमा और टेस्ट। पास होने वाले हर बदलाव की समीक्षा इंजीनियर करता, और धीमे रास्तों, जैसे डेटाबेस क्वेरी, की ज़िम्मेदारी भी उसी की होती, जहां सही जवाब भी बहुत सारे फ़ालतू राउंड ट्रिप में पड़ सकता है। मॉडल को भेजने से पहले हम टेस्ट आउटपुट छांटते, क्योंकि यहां पूरे लॉग ने टोकन का इस्तेमाल बढ़ाया।
यह वहां टूटेगा जहां टेस्ट कमज़ोर हों। कमज़ोर कवरेज वाला मेथड ग़लत कोड को पूरा दिखाते हुए निकल जाने देता है, और साथ-साथ चलने वाला वैलिडेटर वही पकड़ता है जो लाइव ट्रैफ़िक संयोग से छू ले। जिस एक मेट्रिक पर हम नज़र रखते, वह है कि वैलिडेटर पुराने और नए सिस्टम के बीच कितनी बार अंतर पाता है, रूट के प्रकार के हिसाब से, तब तक जब तक वह इतने लंबे समय तक शून्य न रहे कि पुराना सिस्टम बंद किया जा सके।
इसके बाद हम हाथ से लिखे क्वेरी पैटर्न एक साझा लाइब्रेरी में रखते जिसे मॉडल पहले पढ़े, ताकि अगला माइग्रेशन वहीं से शुरू हो जहां यह ख़त्म हुआ।
स्रोत
इस खबर के तथ्य इन स्रोतों से लिए गए हैं।
- 01How Datadog Used Claude and Cursor for Test-Driven Production Migration - InfoQinfoq.com
- 02How we migrated a live routing system using AI-assisted refactoring | Datadogsecurity-platformrumcidashboardhost-mapapmsecurity-platformrumcidashboardhost-mapapmsecurity-platformrumcidashboardsecuritydatadoghq.com