ما هو محرك معالجة البيانات؟

نظرة عامة

تستخدم Validatar محرك معالجة بيانات (Data Processing Engine) لمقارنة نتائج مجموعتَي البيانات اللتين يتم تنفيذهما ضمن اختبار قياسي (standard test)، من أجل تقييم ما إذا كان يجب أن ينجح الاختبار أو يفشل. يوجد نوعان من محركات معالجة البيانات: Built-In وSnowflake.

يتم تعيين محرك معالجة بيانات لكل مصدر بيانات عند إعداد الاتصال الأساسي بقاعدة البيانات. وعند تنفيذ اختبار قياسي، يُستخدم محرك المعالجة المرتبط بمصدر البيانات المحدد في قسم "What do you want to test?" لمقارنة نتائج مجموعتَي البيانات.

المحرك المدمج (Built-In Engine)

محرك Built-In هو ميزة مرخّصة (licensed feature). عند استخدام هذا المحرك، تقوم Validatar باسترجاع البيانات من كلا مجموعتَي البيانات ومعالجتها في الذاكرة على خادم الويب الخاص بـ Validatar. عند تفعيل خيار "Scripts Include Order By" لاختبار ما، يتم بث البيانات من كلا المجموعتين إلى خادم الويب بدلاً من تحميلها بالكامل في الذاكرة، مما يقلل بشكل كبير من إجمالي الذاكرة المستخدمة لهذا الاختبار على خادم الويب.

يمكن تخزين النتائج المحسوبة من المحرك المدمج إما محليًا في مستودع بيانات Validatar الوصفية (metadata repository) أو في Snowflake.

محرك Snowflake

محرك Snowflake هو أيضًا ميزة مرخّصة. عند استخدام هذا المحرك، تتم معالجة البيانات من كلا مجموعتَي البيانات مباشرة داخل حساب Snowflake المقابل، ولا يُرسَل إلى خادم الويب الخاص بـ Validatar سوى ملخص نتيجة المقارنة. يتم دفع البيانات المسترجَعة عبر data agent من قواعد بيانات خارجية خارج Snowflake مباشرة إلى Snowflake.