Tutorial Sqoop: Τι είναι το Apache Sqoop; Αρχιτεκτονική & Παράδειγμα

Τι είναι το SQOOP στο Hadoop;

Το Apache SQOOP (SQL-to-Hadoop) είναι ένα εργαλείο που έχει σχεδιαστεί για να υποστηρίζει τη μαζική εξαγωγή και εισαγωγή δεδομένων σε HDFS από καταστήματα δομημένων δεδομένων, όπως σχεσιακές βάσεις δεδομένων, αποθήκες δεδομένων επιχειρήσεων και συστήματα NoSQL. Είναι ένα εργαλείο μετεγκατάστασης δεδομένων που βασίζεται σε μια αρχιτεκτονική σύνδεσης που υποστηρίζει plugins για να παρέχει συνδεσιμότητα σε νέα εξωτερικά συστήματα.

Ένα παράδειγμα χρήσης της Hadoop Sqoop είναι μια επιχείρηση που εκτελεί μια νυχτερινή εισαγωγή Sqoop για να φορτώσει τα δεδομένα της ημέρας από ένα RDBMS συναλλαγών παραγωγής σε μια αποθήκη δεδομένων Hive για περαιτέρω ανάλυση.

Στη συνέχεια σε αυτό το σεμινάριο Apache Sqoop, θα μάθουμε για την αρχιτεκτονική Apache Sqoop.

Αρχιτεκτονική Sqoop

Όλα τα υπάρχοντα συστήματα διαχείρισης βάσεων δεδομένων έχουν σχεδιαστεί με γνώμονα το πρότυπο SQL. Ωστόσο, κάθε DBMS διαφέρει ως προς τη διάλεκτο σε κάποιο βαθμό. Έτσι, αυτή η διαφορά δημιουργεί προκλήσεις όσον αφορά τη μεταφορά δεδομένων σε όλα τα συστήματα. Οι σύνδεσμοι Sqoop είναι εξαρτήματα που βοηθούν στην αντιμετώπιση αυτών των προκλήσεων.

Η μεταφορά δεδομένων μεταξύ του Sqoop Hadoop και του εξωτερικού συστήματος αποθήκευσης είναι δυνατή με τη βοήθεια των συνδέσμων του Sqoop.

Το Sqoop διαθέτει συνδέσμους για εργασία με μια σειρά από δημοφιλείς σχεσιακές βάσεις δεδομένων, όπως MySQL, PostgreSQL, Oracle, SQL Server και DB2. Κάθε ένας από αυτούς τους συνδέσμους γνωρίζει πώς να αλληλεπιδρά με το σχετικό DBMS. Υπάρχει επίσης μια γενική υποδοχή JDBC για σύνδεση σε οποιαδήποτε βάση δεδομένων που υποστηρίζει το πρωτόκολλο JDBC της Java. Επιπλέον, τα δεδομένα Sqoop Big παρέχουν βελτιστοποιημένες υποδοχές MySQL και PostgreSQL που χρησιμοποιούν ειδικά API για βάση δεδομένων για την αποτελεσματική εκτέλεση μαζικών μεταφορών.

Εκτός από αυτό, το Sqoop σε big data διαθέτει διάφορους συνδέσμους τρίτων για καταστήματα δεδομένων, που κυμαίνονται από αποθήκες εταιρικών δεδομένων (συμπεριλαμβανομένων των Netezza, Teradata και Oracle) έως καταστήματα NoSQL (όπως το Couchbase). Ωστόσο, αυτοί οι σύνδεσμοι δεν συνοδεύονται από δέσμη Sqoop. Αυτά πρέπει να ληφθούν ξεχωριστά και μπορούν να προστεθούν εύκολα σε μια υπάρχουσα εγκατάσταση Sqoop.

Γιατί χρειαζόμαστε το Sqoop;

Η αναλυτική επεξεργασία χρησιμοποιώντας Hadoop απαιτεί τη φόρτωση τεράστιων ποσοτήτων δεδομένων από διαφορετικές πηγές σε συστάδες Hadoop. Αυτή η διαδικασία μαζικής φόρτωσης δεδομένων στο Hadoop, από ετερογενείς πηγές και στη συνέχεια την επεξεργασία της, έρχεται με ένα ορισμένο σύνολο προκλήσεων. Η διατήρηση και η διασφάλιση της συνοχής των δεδομένων και η διασφάλιση της αποτελεσματικής χρήσης των πόρων, είναι μερικοί παράγοντες που πρέπει να λάβετε υπόψη πριν επιλέξετε την σωστή προσέγγιση για τη φόρτωση δεδομένων.

Κύρια ζητήματα:

1. Φόρτωση δεδομένων χρησιμοποιώντας σενάρια

Η παραδοσιακή προσέγγιση της χρήσης σεναρίων για τη φόρτωση δεδομένων δεν είναι κατάλληλη για μαζική φόρτωση δεδομένων στο Hadoop. αυτή η προσέγγιση είναι αναποτελεσματική και πολύ χρονοβόρα.

2. Άμεση πρόσβαση σε εξωτερικά δεδομένα μέσω της εφαρμογής Map-Reduce

Η παροχή άμεσης πρόσβασης στα δεδομένα που βρίσκονται σε εξωτερικά συστήματα (χωρίς φόρτωση στο Hadoop) για εφαρμογές μείωσης χαρτών περιπλέκει αυτές τις εφαρμογές. Επομένως, αυτή η προσέγγιση δεν είναι εφικτή.

3. Εκτός από την ικανότητα να δουλεύει με τεράστια δεδομένα, το Hadoop μπορεί να συνεργαστεί με δεδομένα σε διάφορες διαφορετικές μορφές. Έτσι, για τη φόρτωση τέτοιων ετερογενών δεδομένων στο Hadoop, έχουν αναπτυχθεί διαφορετικά εργαλεία. Το Sqoop και το Flume είναι δύο τέτοια εργαλεία φόρτωσης δεδομένων.

Στη συνέχεια, σε αυτό το σεμινάριο Sqoop με παραδείγματα, θα μάθουμε για τη διαφορά μεταξύ Sqoop, Flume και HDFS.

Sqoop vs Flume vs HDFS στο Hadoop

Κουτάλα	Λαγκάδι	HDFS
Το Sqoop χρησιμοποιείται για την εισαγωγή δεδομένων από δομημένες πηγές δεδομένων όπως το RDBMS.	Το Flume χρησιμοποιείται για τη μεταφορά δεδομένων μαζικής ροής σε HDFS.	Το HDFS είναι ένα σύστημα κατανεμημένων αρχείων που χρησιμοποιείται από το οικοσύστημα Hadoop για την αποθήκευση δεδομένων.
Το Sqoop έχει αρχιτεκτονική που βασίζεται σε συνδετήρες. Οι σύνδεσμοι γνωρίζουν πώς να συνδέονται στην αντίστοιχη πηγή δεδομένων και να λαμβάνουν τα δεδομένα.	Το Flume έχει αρχιτεκτονική βασισμένη σε πράκτορες. Εδώ, γράφεται ένας κωδικός (ο οποίος ονομάζεται «πράκτορας») ο οποίος φροντίζει για τη λήψη δεδομένων.	Το HDFS έχει κατανεμημένη αρχιτεκτονική όπου τα δεδομένα κατανέμονται σε πολλούς κόμβους δεδομένων.
Το HDFS είναι ένας προορισμός για εισαγωγή δεδομένων χρησιμοποιώντας το Sqoop.	Τα δεδομένα ρέουν στο HDFS μέσω μηδενικών ή περισσότερων καναλιών.	Το HDFS είναι ένας απόλυτος προορισμός για αποθήκευση δεδομένων.
Η φόρτωση δεδομένων Sqoop δεν καθοδηγείται από συμβάντα.	Το φορτίο δεδομένων Flume μπορεί να οδηγηθεί από ένα συμβάν.	Το HDFS αποθηκεύει απλώς δεδομένα που του παρέχονται με οποιοδήποτε τρόπο.
Για να εισαγάγετε δεδομένα από πηγές δομημένων δεδομένων, πρέπει κανείς να χρησιμοποιεί εντολές Sqoop μόνο, επειδή οι σύνδεσμοί του ξέρουν πώς να αλληλεπιδρούν με πηγές δομημένων δεδομένων και να λαμβάνουν δεδομένα από αυτές.	Για να φορτώσετε δεδομένα ροής, όπως tweet που δημιουργούνται στο Twitter ή αρχεία καταγραφής ενός διακομιστή ιστού, πρέπει να χρησιμοποιείται το Flume. Οι πράκτορες Flume έχουν δημιουργηθεί για τη λήψη δεδομένων ροής.	Το HDFS έχει τις δικές του ενσωματωμένες εντολές κελύφους για αποθήκευση δεδομένων σε αυτό. Το HDFS δεν μπορεί να εισαγάγει δεδομένα ροής