Σε αυτό το σεμινάριο σχετικά με τη διαφορά μεταξύ Data lake εναντίον Data warehouse, θα συζητήσουμε τις βασικές διαφορές μεταξύ Data warehouse έναντι data lake. Αλλά πριν συζητήσουμε τη διαφορά, ας μάθουμε πρώτα "Τι είναι η Data Warehouse;".
Τι είναι η Data Warehouse;
Η Data Warehouse είναι ένα μείγμα τεχνολογιών και στοιχείων για τη στρατηγική χρήση δεδομένων. Συλλέγει και διαχειρίζεται δεδομένα από διάφορες πηγές για να παρέχει σημαντικές επιχειρηματικές πληροφορίες. Είναι η ηλεκτρονική αποθήκευση μεγάλου όγκου πληροφοριών που έχουν σχεδιαστεί για αναζήτηση και ανάλυση αντί για επεξεργασία συναλλαγών. Είναι μια διαδικασία μετατροπής δεδομένων σε πληροφορίες.
Τι είναι το Data Lake;
Το Data Lake είναι ένα αποθετήριο αποθήκευσης που μπορεί να αποθηκεύσει μεγάλο αριθμό δομημένων, ημι-δομημένων και μη δομημένων δεδομένων. Είναι ένα μέρος για την αποθήκευση κάθε τύπου δεδομένων στη μητρική του μορφή χωρίς σταθερά όρια στο μέγεθος του λογαριασμού ή στο αρχείο. Προσφέρει μεγάλη ποσότητα ποσότητας δεδομένων για αυξημένη αναλυτική απόδοση και εγγενή ενσωμάτωση.
Το Data Lake είναι σαν ένα μεγάλο δοχείο που μοιάζει πολύ με την πραγματική λίμνη και τα ποτάμια. Ακριβώς όπως σε μια λίμνη, έχετε πολλούς παραπόταμους που μπαίνουν. Ομοίως, μια λίμνη δεδομένων έχει δομημένα δεδομένα, μη δομημένα δεδομένα, μηχανή σε μηχανή, αρχεία καταγραφής που ρέουν σε πραγματικό χρόνο.
Έννοια αποθήκης δεδομένων:
Η Data Warehouse αποθηκεύει δεδομένα σε αρχεία ή φακέλους που βοηθούν στην οργάνωση και χρήση των δεδομένων για τη λήψη στρατηγικών αποφάσεων. Αυτό το σύστημα αποθήκευσης δίνει επίσης μια πολυδιάστατη προβολή ατομικών και συνοπτικών δεδομένων. Οι σημαντικές λειτουργίες που απαιτούνται για την εκτέλεση είναι:
- Εξαγωγή δεδομένων
- Καθαρισμός δεδομένων
- Μετασχηματισμός δεδομένων
- Φόρτωση δεδομένων και ανανέωση
Στη συνέχεια, θα μάθουμε τη βασική διαφορά μεταξύ της λίμνης δεδομένων Azure έναντι της αποθήκης δεδομένων.
ΒΑΣΙΚΗ ΔΙΑΦΟΡΑ
- Η Data Lake αποθηκεύει όλα τα δεδομένα ανεξάρτητα από την πηγή και τη δομή της, ενώ η Data Warehouse αποθηκεύει δεδομένα σε ποσοτικές μετρήσεις με τα χαρακτηριστικά τους.
- Το Data Lake είναι ένα αποθετήριο αποθήκευσης που αποθηκεύει τεράστια δομημένα, ημι-δομημένα και μη δομημένα δεδομένα, ενώ η Data Warehouse συνδυάζει τεχνολογίες και στοιχεία που επιτρέπουν τη στρατηγική χρήση των δεδομένων.
- Το Data Lake ορίζει το σχήμα μετά την αποθήκευση των δεδομένων ενώ το Data Warehouse ορίζει το σχήμα πριν από την αποθήκευση των δεδομένων.
- Η Data Lake χρησιμοποιεί τη διαδικασία ELT (Extract Load Transform) ενώ η Data Warehouse χρησιμοποιεί τη διαδικασία ETL (Extract Transform Load).
- Συγκρίνοντας Data Lake με Warehouse, το Data Lake είναι ιδανικό για όσους θέλουν σε βάθος ανάλυση, ενώ το Data Warehouse είναι ιδανικό για λειτουργικούς χρήστες.
Έννοια Data Lake:
Η Λίμνη δεδομένων είναι ένα αποθετήριο αποθήκευσης μεγάλου μεγέθους που κρατά μεγάλο όγκο ανεπεξέργαστων δεδομένων στην αρχική του μορφή έως ότου χρειαστεί. Κάθε στοιχείο δεδομένων σε μια λίμνη δεδομένων έχει ένα μοναδικό αναγνωριστικό και επισημαίνεται με ένα σύνολο εκτεταμένων ετικετών μεταδεδομένων. Προσφέρει μεγάλες ποικιλίες αναλυτικών ικανοτήτων.
Βασική διαφορά μεταξύ της λίμνης δεδομένων και της αποθήκης δεδομένων
Διαφορά μεταξύ Data Lake και Data Warehouse
Ακολουθούν οι βασικές διαφορές μεταξύ των λιμνών δεδομένων έναντι της αποθήκης δεδομένων:
| Παράμετροι | Λίμνη δεδομένων | Αποθήκη δεδομένων |
|---|---|---|
| Αποθήκευση | Στη λίμνη δεδομένων, όλα τα δεδομένα διατηρούνται ανεξάρτητα από την πηγή και τη δομή της. Τα δεδομένα διατηρούνται στην αρχική τους μορφή. Μεταμορφώνεται μόνο όταν είναι έτοιμο για χρήση. | Μια αποθήκη δεδομένων θα αποτελείται από δεδομένα που εξάγονται από συστήματα συναλλαγών ή δεδομένα που αποτελούνται από ποσοτικές μετρήσεις με τα χαρακτηριστικά τους. Τα δεδομένα καθαρίζονται και μεταμορφώνονται |
| Ιστορία | Οι μεγάλες τεχνολογίες δεδομένων που χρησιμοποιούνται στις λίμνες δεδομένων είναι σχετικά νέες. | Η έννοια της αποθήκης δεδομένων, σε αντίθεση με τα μεγάλα δεδομένα, είχε χρησιμοποιηθεί για δεκαετίες. |
| Καταγραφή δεδομένων | Καταγράφει όλα τα είδη δεδομένων και δομών, ημι-δομημένα και μη δομημένα στην αρχική τους μορφή από τα συστήματα προέλευσης. | Καταγράφει δομημένες πληροφορίες και τις οργανώνει σε σχήματα όπως ορίζονται για σκοπούς αποθήκης δεδομένων |
| Χρονολόγιο δεδομένων | Οι λίμνες δεδομένων μπορούν να διατηρήσουν όλα τα δεδομένα. Αυτό περιλαμβάνει όχι μόνο τα δεδομένα που χρησιμοποιούνται, αλλά και τα δεδομένα που ενδέχεται να χρησιμοποιήσει στο μέλλον. Επίσης, τα δεδομένα διατηρούνται για πάντα, για να επιστρέψουν στο παρελθόν και να κάνουν μια ανάλυση. | Στη διαδικασία ανάπτυξης της αποθήκης δεδομένων, αφιερώνεται σημαντικός χρόνος για την ανάλυση διαφόρων πηγών δεδομένων. |
| Χρήστες | Η λίμνη δεδομένων είναι ιδανική για τους χρήστες που επιδίδονται σε βαθιά ανάλυση. Τέτοιοι χρήστες περιλαμβάνουν επιστήμονες δεδομένων που χρειάζονται προηγμένα αναλυτικά εργαλεία με δυνατότητες όπως προγνωστική μοντελοποίηση και στατιστική ανάλυση. | Η αποθήκη δεδομένων είναι ιδανική για λειτουργικούς χρήστες, επειδή είναι καλά δομημένη, εύχρηστη και κατανοητή. |
| Κόστος αποθήκευσης | Η αποθήκευση δεδομένων σε μεγάλες τεχνολογίες δεδομένων είναι σχετικά φθηνή και η αποθήκευση δεδομένων σε μια αποθήκη δεδομένων. | Η αποθήκευση δεδομένων στην αποθήκη δεδομένων είναι πιο δαπανηρή και χρονοβόρα. |
| Εργο | Οι λίμνες δεδομένων μπορούν να περιέχουν όλους τους τύπους δεδομένων και δεδομένων. δίνει τη δυνατότητα στους χρήστες να έχουν πρόσβαση σε δεδομένα πριν από τη διαδικασία μετασχηματισμού, καθαρισμού και δομής. | Οι αποθήκες δεδομένων μπορούν να παρέχουν πληροφορίες για προκαθορισμένες ερωτήσεις για προκαθορισμένους τύπους δεδομένων. |
| Χρόνος επεξεργασίας | Οι λίμνες δεδομένων δίνουν τη δυνατότητα στους χρήστες να έχουν πρόσβαση σε δεδομένα προτού μετατραπούν, καθαριστούν και δομηθούν. Έτσι, επιτρέπει στους χρήστες να φτάσουν στο αποτέλεσμα τους πιο γρήγορα σε σύγκριση με την παραδοσιακή αποθήκη δεδομένων. | Οι αποθήκες δεδομένων προσφέρουν πληροφορίες για προκαθορισμένες ερωτήσεις για προκαθορισμένους τύπους δεδομένων. Έτσι, οποιεσδήποτε αλλαγές στην αποθήκη δεδομένων χρειάζονταν περισσότερο χρόνο. |
| Θέση του σχήματος | Συνήθως, το σχήμα ορίζεται μετά την αποθήκευση των δεδομένων. Αυτό προσφέρει υψηλή ευελιξία και ευκολία λήψης δεδομένων, αλλά απαιτεί εργασία στο τέλος της διαδικασίας | Συνήθως το σχήμα καθορίζεται πριν από την αποθήκευση των δεδομένων. Απαιτείται εργασία κατά την έναρξη της διαδικασίας, αλλά προσφέρει απόδοση, ασφάλεια και ενσωμάτωση. |
| Επεξεργασία δεδομένων | Χρήση δεδομένων Lakes της διαδικασίας ELT (Extract Load Transform). | Η αποθήκη δεδομένων χρησιμοποιεί μια παραδοσιακή διαδικασία ETL (Extract Transform Load). |
| κανω παραπονα | Τα δεδομένα διατηρούνται στην αρχική τους μορφή. Μεταμορφώνεται μόνο όταν είναι έτοιμο για χρήση. | Το κύριο παράπονο εναντίον αποθηκών δεδομένων είναι η ανικανότητα ή το πρόβλημα που αντιμετωπίζει όταν προσπαθούμε να κάνουμε αλλαγή σε αυτές. |
| Βασικά οφέλη | Ενσωματώνουν διαφορετικούς τύπους δεδομένων για να παρουσιάσουν εντελώς νέες ερωτήσεις, καθώς αυτοί οι χρήστες δεν είναι πιθανό να χρησιμοποιούν αποθήκες δεδομένων επειδή μπορεί να χρειαστεί να υπερβούν τις δυνατότητές του. | Οι περισσότεροι χρήστες ενός οργανισμού είναι λειτουργικοί. Αυτοί οι τύποι χρηστών ενδιαφέρονται μόνο για αναφορές και βασικές μετρήσεις απόδοσης. |