ما هي بحيرة البيانات والفرق بين بحيرة البيانات ومستودع البيانات
جدول المحتويات
ما هي بحيرة البيانات هذا المصطلح الذي يتداول ويرد كثيراً عند الأشخاص الذين يدرسون علم البيانات والتحليلات، وهذا المصطلح مهم جداً لدى الأشخاص العاملون في إدارة البيانات، فمن خلال موقع المرجع سوف نعرفكم على كل ما يخصما هي بحيرة البيانات هذا المصطلح والفرق بينه وبين مستودع البيانات، إضافة إلى مكونات وفوائد بحيرة البيانات.
ما هي بحيرة البيانات
بحيرة البيانات هي مستودع تخزين مركزي يحتوي على بيانات ضخمة من العديد من المصادر بتنسيق خام وعلى شكل حبيبات، تعمل على تخزين البيانات المهيكلة (البيانات المنظمة) وشبه المنظمة (الغير المهيكلة)، ويعد الهدف منها الاحتفاظ بالبيانات بتنسيق أكثر مرونة لاستخدامها في المستقبل، عند تخزين البيانات تقوم بحيرة البيانات بربطها بالمعرفات وعلامات البيانات الوصفية لاسترجاعها بشكل أسرع.
صاغ مصطلح “بحيرة البيانات” جيمس ديكسون كبير التكنولوجيا في Pentaho، حيث أن هذا المصطلح يشير إلى الطبيعة المخصصة للبيانات في هذه البحيرة، على عكس البيانات النظيفة والمعالجة المخزنة في أنظمة مستودعات البيانات التقليدية، يتم تكوين بحيرات البيانات على مجموعة من أجهزة السلع غير المكلفة والقابلة للتطوير، يسمح هذا التكوين بإلقاء البيانات في البحيرة في حالة الحاجة إليها لاحقًا دون الحاجة إلى القلق بشأن سعة التخزين، يمكن أن توجد المجموعات في أماكن العمل أو في السحابة الإلكترونية.[1]
شاهد أيضاً: من هو مؤسس المستودع
ما هو مستودع البيانات
مستودع البيانات هو مجموعة كبيرة من بيانات الأعمال المستخدمة لمساعدة المؤسسة في اتخاذ القرارات، وتم ابتكار مفهوم مستودع البيانات يوجد منذ الثمانينيات من القرن الفائت، حيث يهدف بالمساعدة في نقل البيانات من عمليات التشغيل إلى أنظمة دعم القرار التي تكشف عن ذكاء الأعمال، تأتي الكمية الكبيرة من البيانات في مستودعات البيانات من أماكن مختلفة مثل التطبيقات الداخلية في التسويق والمبيعات والتمويل والتطبيقات التي تواجه العملاء وأنظمة الشركاء الخارجيين من بين أمور أخرى.
فعلى المستوى التقني يقوم مخزن البيانات بسحب البيانات بشكل دوري من تلك التطبيقات والأنظمة؛ ثم تمر البيانات عبر عمليات التنسيق والاستيراد لمطابقة البيانات الموجودة بالفعل في المستودع، بعد ذلك يقوم مستودع البيانات بتخزين البيانات المعالجة بحيث تكون جاهزة للوصول إلى صناع القرار، يختلف عدد مرات حدوث عمليات سحب البيانات أو كيفية تنسيق البيانات بالاعتماد على احتياجات المؤسسة.[2]
الفرق بين بحيرة البيانات ومستودع البيانات
تطلب المنظمة النموذجية كلاً من مستودع البيانات وبحيرة البيانات حتى يتم تسخيرها في خدمة احتياجات وحالات الاستخدام المختلفة، ويختلف كل من هذين المصطلحين بما يلي:[3]
وجه الاختلاف | بحيرة البيانات | مستودع البيانات |
البيانات | البيانات فيها أشمل حيث تكون غير علائقية وعلائقية بنفس الوقت، فتكون علائقية من أجهزة إنترنت الأشياء ومواقع الويب وتطبيقات الهاتف المحمول والوسائط الاجتماعية وتطبيقات الشركات | البيانات فيها علائقية فقط عندما تكون من أنظمة المعاملات وقواعد البيانات التشغيلية وتطبيقات الأعمال |
المخطط | المخطط فيها يكون مكتوب في وقت التحليل (مخطط عند القراءة) | المخطط فيها صمم قبل تنفيذ DW (مخطط على الكتابة) |
أداء السعر | نتائج الاستعلام تزداد سرعة استخدام التخزين منخفض التكلفة | تحصل فيه أسرع نتائج الاستعلام باستخدام تخزين أعلى تكلفة |
الجودة في البيانات | تكون فيها البيانات أولية فقد يتم تنسيقها أو لا يتم تنسيقها | تكون فيها البيانات منظمة للغاية تعمل كإصدار مركزي للحقيقة |
المستخدمون | الذين يستخدمون بحيرة البيانات هم علماء ومطورو البيانات ومحللو الأعمال (باستخدام البيانات المنسقة) | الذين يستخدمون مستودع البيانات محللو الأعمال فقط |
التحليلات | التحليلات فيها تكون التعلم الآلي والتحليلات التنبؤية واكتشاف البيانات والتنميط | تكون التحليلات على شكل تقارير الدُفعات وذكاء الأعمال والتصورات |
مكونات بحيرة البيانات
إن مفتاح قدرة الشركات يكمن في الاستفادة الكاملة من بحيرة البيانات واعتمادها على مدى جودة معالجتها للثروة الهائلة من المعلومات وتفسيرها، وخاصةً السرعة في نقل البيانات إلى بحيرات البيانات ثم استخراج الأفكار منها، وللقيام بهذا يجب تنفيذ بنية بحيرة البيانات المناسبة، حيث تتكون من خمس مكونات رئيسية وهي ما يلي:[4]
- استيعاب البيانات: وهذا الإجراء مطلوب بتطبيق نظام مبني على الإدراك والوعي لنحصل على استيعاب قابل للتوسع بدرجة كبيرة ليقوم باستخراج البيانات من مصادر مختلفة، والتي يتم استخراجها عادة من مواقع الويب والتطبيقات المحملة على الأجهزة المحمولة الأخرى إضافة إلى الوسائط الاجتماعية وغيرها من الاساليب الأخرى، والتي يجب أن تدعم كافة الأنواع من البيانات مع مصادر البيانات الحديثة.
- التخزين: التي يجب أن تحتوي نظام تخزين تدريجي يمتاز بالقدرة العالية على التخزين وإجراء المعالجة للبيانات الخام وفك التشفير والدعم مع امكانية الضغط دون المساس بأمن البيانات وحفظها بشكل مناسب.
- أمان البيانات: وهو شرط أساسي حيث أنه يجب أن تكون بحيرة البيانات آمنة بشكل فعال باستخدامها المصداقية من حيث تعدد العوامل وإجراء التفويض وسهولة الوصول الآمن، إضافة إلى حماية البيانات.
- تحليل البيانات: بعد أن يتم استيعاب البيانات يجب أن تخضع لعملية تحليل وبكفاءة عالية، ويتم ذلك باستخدام أدوات التحليل والتعلم الآلي بغية استخراج الرؤى القيمة إضافة إلى نقل البيانات المفحوصة سابقاً إلى مستودع البيانات.
- إدارة البيانات: والتي تتضمن تبسيط العملية بهدف استيعاب البيانات والإعداد المسبق لها وفهرستها وتحقيق التكامل لها إضافة إلى تسريع التدقيق بها لإنتاج البيانات ذات الجودة العالية على مستوى الأفراد والمؤسسة، كما يجب متابع التغيرات على عناصرها وتهيئتها للتدقيق.
شاهد أيضاً: ما هي خطة استعادة البيانات بعد الكوارث
فوائد بحيرة البيانات
عادةً ما تحتاج الشركات إلى اتخاذ القرارات بناءً على البيانات المتوفرة طيلة الوقت، فنحن نحتاج بشدة إلى بيانات المجموعة كاملة للخروج بصورة شاملة لاتخاذ القرارات السليمة في العمل، واتخاذ القرارات هذا يعتمد على معرفتنا السابقة لأهمية بحيرة البيانات وفوائدها والتي نذكرها لكم كالآتي:[5]
- سعة التخزين: حيث أنها تمتاز بالقدرة على تخزين الكميات الهائلة دون اتلافها أو الضرر فيها.
- سهولة الاستخدام: فوجود البيانات في البحيرة يتيح لك استخدامها بشكل أسرع عن طريق إبقائها في حالتها الخام.
- اكتساب الرؤى: من خلال تحليلها على أوسع نطاق وبأحدث الأساليب وهذا الأمر يتيح لك اكتساب الرؤى الجديدة والغير متوقعة.
- امكانية التوسع: حيث أنها تكون أكثر قابلية للتوسع واقل تكلفة نسبة إلى مستودع البيانات إذا أخذناها في عين الاعتبار.
وبهذا الكم من المعلومات وصلنا إلى نهاية مقالنا الذي كان بعنوان ما هي بحيرة البيانات والذي تعرفنا فيه أيضاً على مستودع البيانات والفرق بينهما إضافة إلى ذكر المكونات لها وماهي فوائدها بشكل معمق لإمتاع فكر قرائنا الكرام بكل ما يخص هذا الموضوع.
المراجع
- talend.com , What is a Data Lake? , 21/08/2021
- talend.com , What is a Data Warehouse and Why Does It Matter To Your Business? , 21/08/2021
- dataversity.net , What is a data lake? , 21/08/2021
- qlik.com , Data Lakes: What They are and How to Use Them , 21/08/2021
- qlik.com , Data Lake vs Data Warehouse What are the key benefits and differences? , 21/08/2021
التعليقات