ما هو مصدر البيانات (Data Source)؟

نظرة عامة

الـ Data Source هو اتصال بقاعدة بيانات أو أي بنية بيانات أخرى. يتيح Validatar عدة أنواع من الاتصالات:

• SQL Server
• Snowflake
• OLE DB
• PostgreSQL
• ODBC
• Python Script

ما الذي يجب إضافته كمصدر بيانات؟

إذا كانت لديك بيانات تريد معرفة المزيد عنها، أو اختبار مستوى جودتها، أو مراقبتها باستمرار، فيجب عليك إضافة اتصال بها في Validatar. ويشمل ذلك:

• Source Systems
• Legacy Data Warehouses
• Cloud Data Warehouses
• Metadata Repositories
• Flat Files
• Tableau
• والمزيد!

فهم مصادر البيانات في الاختبار

تتكون اختبارات Validatar من عنصرين أساسيين: Test Data Set و Control Data Set. تتم مقارنة هذين العنصرين لتقييم مستوى التباين وتحديد ما إذا كانت مجموعة بيانات الاختبار تتوافق مع مجموعة بيانات التحكم. من خلال دراسة هذا التباين، يمكنك الحصول على رؤى حول تأثير جودة البيانات. ولإجراء هذه المقارنات، تحتاج إلى وجود مجموعتي بيانات متمايزتين للاختبار، وهنا يأتي دور مصادر البيانات. عند إعداد استعلام اختبار أو ملف تعريف (profile)، يمكنك اختيار مصدر البيانات المناسب لكل مجموعة بيانات، مما يتيح لـ Validatar تنفيذ الاختبار على البيانات المطلوبة.

في مثال ترحيل Snowflake أدناه، تمثل Test Data Set مستودع Snowflake الهدف، بينما تمثل Control Data Set مستودع SQL Server القديم (Legacy).

يمكنك أيضاً استخدام نفس مصدر البيانات لكلتا مجموعتي البيانات. عادةً ما تقوم بذلك للتحقق من صحة البيانات داخل قاعدة بيانات واحدة، مثل التحقق من عدد الصفوف بعد إجراء تحويل (transformation) على جدول ما.

فهم مصادر البيانات في Data Catalog

استكشاف مصادر البيانات

ضمن منصة Validatar، يتيح لك Data Catalog التعمق في كل مصدر من مصادر بياناتك. من خلال الوصول إلى Data Catalog، يمكنك الحصول على رؤى قيّمة حول البيانات الوصفية التقنية (technical metadata) والبيانات الوصفية المخصصة (custom metadata). بالإضافة إلى ذلك، لديك الفرصة لاستكشاف مصدر بياناتك على مستوى الـ schema والجدول والعرض (view) والعمود، لاكتشاف ثروة من المعلومات.

معلومات الملف الشخصي المرئية: سهولة استيعاب رؤى البيانات

في كل مستوى من مستويات Data Catalog، ستجد معلومات ملف تعريف (profile) معروضة بشكل مرئي يتم إنشاؤها بعد تشغيل مجموعات profile الخاصة بـ Validatar. يتيح هذا العرض المرئي سهولة الفهم والتحليل. يمكنك بسرعة استيعاب التفاصيل الأساسية، مثل عدد الأعمدة والسجلات في كل جدول، وكذلك اختبارات Validatar المرتبطة بكل كائن من كائنات البيانات الوصفية. توفر هذه الرؤى سياقاً قيّماً وتسهّل فهماً شاملاً لما يحتويه مصدر البيانات.

التحليل التفصيلي وسجل Profile على مستوى الأعمدة

بمجرد التعمق في عرض مستوى العمود، تحصل على معلومات تحليل بيانات (profiling) متعمقة والقدرة على مراجعة سجل الملف الشخصي (profile history). يتيح لك هذا المستوى من التحليل فحص ملفات تعريف البيانات بتفاصيل أفضل. من خلال مراقبة التغييرات في ملفات تعريف البيانات بمرور الوقت، يمكنك اكتشاف المشكلات والحالات الشاذة المحتملة داخل بياناتك. قد تشير الارتفاعات أو الانخفاضات غير المعتادة في مقاييس الملف الشخصي إلى وجود حالات شاذة أو مشكلات في خط معالجة البيانات (data processing pipeline).

إعدادات مصدر البيانات

إعداد مصدر بيانات هو أكثر من مجرد إنشاء اتصال بقاعدة بيانات. هناك تكوينات متنوعة تمكّنك من الاستفادة الكاملة من مصادر البيانات كما ورد وصفه في الأقسام السابقة.