Πριν ξεκινήσουμε την εισαγωγή στα Big Data, πρέπει πρώτα να γνωρίζετε
Τι είναι τα δεδομένα;
Οι ποσότητες, οι χαρακτήρες ή τα σύμβολα στα οποία εκτελούνται λειτουργίες από έναν υπολογιστή, οι οποίοι μπορούν να αποθηκευτούν και να μεταδοθούν με τη μορφή ηλεκτρικών σημάτων και να καταγραφούν σε μαγνητικά, οπτικά ή μηχανικά μέσα εγγραφής.
Τώρα, ας μάθουμε την εισαγωγή Big Data
Τι είναι τα Big Data;
Το Big Data είναι μια συλλογή δεδομένων με τεράστιο όγκο, αλλά αυξάνεται εκθετικά με τον χρόνο. Είναι δεδομένα με τόσο μεγάλο μέγεθος και πολυπλοκότητα που κανένα από τα παραδοσιακά εργαλεία διαχείρισης δεδομένων δεν μπορεί να τα αποθηκεύσει ή να τα επεξεργαστεί αποτελεσματικά. Τα μεγάλα δεδομένα είναι επίσης δεδομένα αλλά με τεράστιο μέγεθος.
Σε αυτό το σεμινάριο, θα μάθετε,
- Τι είναι τα δεδομένα;
- Τι είναι τα Big Data;
- Παραδείγματα μεγάλων δεδομένων
- Τύποι μεγάλων δεδομένων
- Χαρακτηριστικά των μεγάλων δεδομένων
- Πλεονεκτήματα της μεγάλης επεξεργασίας δεδομένων
Παραδείγματα μεγάλων δεδομένων
Ακολουθούν μερικά από τα παραδείγματα Big Data-
Το Χρηματιστήριο της Νέας Υόρκης δημιουργεί περίπου ένα terabyte νέων εμπορικών δεδομένων ανά ημέρα.
Μεσα ΚΟΙΝΩΝΙΚΗΣ ΔΙΚΤΥΩΣΗΣ
Η στατιστική δείχνει ότι 500 + terabyte νέων δεδομένων απορροφώνται στις βάσεις δεδομένων του ιστότοπου κοινωνικών μέσων Facebook , κάθε μέρα. Αυτά τα δεδομένα παράγονται κυρίως από άποψη μεταφορτώσεων φωτογραφιών και βίντεο, ανταλλαγής μηνυμάτων, τοποθέτησης σχολίων κ.λπ.
Ένας κινητήρας Jet μπορεί να δημιουργήσει 10 + terabyte δεδομένων σε 30 λεπτά χρόνου πτήσης. Με πολλές χιλιάδες πτήσεις την ημέρα, η παραγωγή δεδομένων φτάνει έως και πολλά Petabytes.
Τύποι μεγάλων δεδομένων
Ακολουθούν οι τύποι Big Data:
- Δομημένος
- Μη δομημένο
- Ημι-δομημένο
Δομημένος
Οποιαδήποτε δεδομένα μπορούν να αποθηκευτούν, να προσπελαστούν και να υποβληθούν σε επεξεργασία με τη μορφή σταθερής μορφής ονομάζονται «δομημένα» δεδομένα. Με την πάροδο του χρόνου, το ταλέντο στην επιστήμη των υπολογιστών πέτυχε μεγαλύτερη επιτυχία στην ανάπτυξη τεχνικών εργασίας με τέτοιου είδους δεδομένα (όπου η μορφή είναι γνωστή εκ των προτέρων) και επίσης αποκομίζει αξία από αυτήν. Ωστόσο, στις μέρες μας, προβλέπουμε ζητήματα όταν ένα μέγεθος τέτοιων δεδομένων αυξάνεται σε μεγάλο βαθμό, τυπικά μεγέθη είναι στην οργή πολλαπλών zettabytes.
Γνωρίζεις? 10 21 byte ίσο με 1 zettabyte ή ένα δισεκατομμύριο terabyte σχηματίζει zettabyte .
Κοιτάζοντας αυτά τα στοιχεία μπορεί κανείς να καταλάβει εύκολα γιατί δίνεται το όνομα Big Data και να φανταστεί κανείς τις προκλήσεις που ενέχει η αποθήκευση και η επεξεργασία του.
Γνωρίζεις? Τα δεδομένα που αποθηκεύονται σε ένα σχεσιακό σύστημα διαχείρισης βάσεων δεδομένων είναι ένα παράδειγμα «δομημένων» δεδομένων.
Παραδείγματα δομημένων δεδομένων
Ένας πίνακας «Υπάλληλος» σε μια βάση δεδομένων είναι ένα παράδειγμα δομημένων δεδομένων
| Ταυτότητα Υπαλλήλου | Ονομα υπαλλήλου | Γένος | Τμήμα | Μισθός_In_lacs |
|---|---|---|---|---|
| 2365 | Ρατζές Κουλκάρνι | Αρσενικός | Χρηματοδότηση | 650000 |
| 3398 | Pratibha Joshi | Θηλυκός | διαχειριστής | 650000 |
| 7465 | Σούσιλ Ράι | Αρσενικός | διαχειριστής | 500000 |
| 7500 | Shubhojit Das | Αρσενικός | Χρηματοδότηση | 500000 |
| 7699 | Πρίγια Σανέ | Θηλυκός | Χρηματοδότηση | 550000 |
Μη δομημένο
Οποιαδήποτε δεδομένα με άγνωστη μορφή ή δομή ταξινομούνται ως μη δομημένα δεδομένα. Εκτός από το μέγεθος που είναι τεράστιο, τα μη δομημένα δεδομένα θέτουν πολλές προκλήσεις όσον αφορά την επεξεργασία τους για την απόκτηση αξίας. Ένα τυπικό παράδειγμα μη δομημένων δεδομένων είναι μια ετερογενής πηγή δεδομένων που περιέχει έναν συνδυασμό απλών αρχείων κειμένου, εικόνων, βίντεο κ.λπ. αυτά τα δεδομένα είναι σε ακατέργαστη μορφή ή σε μη δομημένη μορφή.
Παραδείγματα μη δομημένων δεδομένων
Η έξοδος επέστρεψε από την «Αναζήτηση Google»
Ημι-δομημένο
Τα ημι-δομημένα δεδομένα μπορούν να περιέχουν και τις δύο μορφές δεδομένων. Μπορούμε να δούμε τα ημι-δομημένα δεδομένα ως δομημένη μορφή, αλλά στην πραγματικότητα δεν ορίζονται με π.χ. έναν ορισμό πίνακα σε σχεσιακό DBMS. Παράδειγμα ημι-δομημένων δεδομένων είναι τα δεδομένα που αντιπροσωπεύονται σε ένα αρχείο XML.
Παραδείγματα ημι-δομημένων δεδομένων
Προσωπικά δεδομένα αποθηκευμένα σε αρχείο XML-
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Ανάπτυξη δεδομένων με την πάροδο των ετών
Σημειώστε ότι τα δεδομένα εφαρμογών ιστού, τα οποία δεν είναι δομημένα, αποτελούνται από αρχεία καταγραφής, αρχεία ιστορικού συναλλαγών κ.λπ. Τα συστήματα OLTP είναι κατασκευασμένα για να λειτουργούν με δομημένα δεδομένα όπου τα δεδομένα αποθηκεύονται σε σχέσεις (πίνακες).
Χαρακτηριστικά των μεγάλων δεδομένων
Τα μεγάλα δεδομένα μπορούν να περιγραφούν με τα ακόλουθα χαρακτηριστικά:
- Ενταση ΗΧΟΥ
- Ποικιλία
- Ταχύτητα
- Μεταβλητότητα
(i) Volume - Το ίδιο το όνομα Big Data σχετίζεται με ένα τεράστιο μέγεθος. Το μέγεθος των δεδομένων παίζει πολύ σημαντικό ρόλο στον προσδιορισμό της αξίας των δεδομένων. Επίσης, εάν ένα συγκεκριμένο δεδομένο μπορεί πραγματικά να θεωρηθεί ως Big Data ή όχι, εξαρτάται από τον όγκο των δεδομένων. Ως εκ τούτου, το "Volume" είναι ένα χαρακτηριστικό που πρέπει να ληφθεί υπόψη κατά την αντιμετώπιση των Big Data.
(ii) Ποικιλία - Η επόμενη πτυχή του Big Data είναι η ποικιλία της .
Η ποικιλία αναφέρεται σε ετερογενείς πηγές και στη φύση των δεδομένων, τόσο δομημένων όσο και μη δομημένων. Τις προηγούμενες ημέρες, τα υπολογιστικά φύλλα και οι βάσεις δεδομένων ήταν οι μόνες πηγές δεδομένων που εξετάστηκαν από τις περισσότερες εφαρμογές. Σήμερα, στις εφαρμογές ανάλυσης εξετάζονται επίσης δεδομένα με τη μορφή email, φωτογραφιών, βίντεο, συσκευών παρακολούθησης, PDF, ήχου κ.λπ. Αυτή η ποικιλία δεδομένων χωρίς δομή θέτει ορισμένα ζητήματα αποθήκευσης, εξόρυξης και ανάλυσης δεδομένων.
(iii) Ταχύτητα - Ο όρος «ταχύτητα» αναφέρεται στην ταχύτητα δημιουργίας δεδομένων. Το πόσο γρήγορα τα δεδομένα δημιουργούνται και υποβάλλονται σε επεξεργασία για την ικανοποίηση των απαιτήσεων, καθορίζει το πραγματικό δυναμικό των δεδομένων.
Το Big Data Velocity ασχολείται με την ταχύτητα ροής δεδομένων από πηγές όπως επιχειρηματικές διαδικασίες, αρχεία καταγραφής εφαρμογών, δίκτυα και ιστότοπους κοινωνικών μέσων, αισθητήρες, φορητές συσκευές κ.λπ. Η ροή δεδομένων είναι τεράστια και συνεχής.
(iv) Μεταβλητότητα - Αυτό αναφέρεται στην ασυνέπεια που μπορεί να αποδεικνύεται κατά καιρούς από τα δεδομένα, εμποδίζοντας έτσι τη διαδικασία της ικανότητας χειρισμού και διαχείρισης των δεδομένων αποτελεσματικά.
Οφέλη της μεγάλης επεξεργασίας δεδομένων
Η ικανότητα επεξεργασίας Big Data φέρνει πολλαπλά οφέλη, όπως:
- Οι επιχειρήσεις μπορούν να χρησιμοποιούν εξωτερική νοημοσύνη λαμβάνοντας αποφάσεις
Η πρόσβαση σε κοινωνικά δεδομένα από μηχανές αναζήτησης και ιστότοπους όπως το facebook, το twitter επιτρέπει στους οργανισμούς να προσαρμόζουν τις επιχειρηματικές τους στρατηγικές.
- Βελτιωμένη εξυπηρέτηση πελατών
Τα παραδοσιακά συστήματα ανατροφοδότησης πελατών αντικαθίστανται από νέα συστήματα σχεδιασμένα με τεχνολογίες Big Data. Σε αυτά τα νέα συστήματα, τα Big Data και οι τεχνολογίες επεξεργασίας φυσικής γλώσσας χρησιμοποιούνται για την ανάγνωση και την αξιολόγηση των απαντήσεων των καταναλωτών.
- Έγκαιρος εντοπισμός κινδύνου για το προϊόν / τις υπηρεσίες, εάν υπάρχει
- Καλύτερη λειτουργική απόδοση
Οι μεγάλες τεχνολογίες δεδομένων μπορούν να χρησιμοποιηθούν για τη δημιουργία μιας περιοχής στάσης ή μιας ζώνης προσγείωσης για νέα δεδομένα, προτού προσδιορίσουν ποια δεδομένα πρέπει να μετακινηθούν στην αποθήκη δεδομένων. Επιπλέον, μια τέτοια ενσωμάτωση των τεχνολογιών Big Data και της αποθήκης δεδομένων βοηθά έναν οργανισμό να εκφορτώνει δεδομένα με σπάνια πρόσβαση.
Περίληψη
- Ορισμός μεγάλων δεδομένων: Τα μεγάλα δεδομένα ορίζονται ως δεδομένα που έχουν τεράστιο μέγεθος. Το Bigdata είναι ένας όρος που χρησιμοποιείται για να περιγράψει μια συλλογή δεδομένων με τεράστιο μέγεθος και όμως αυξάνεται εκθετικά με το χρόνο.
- Τα παραδείγματα Big Data analytics περιλαμβάνουν χρηματιστήρια, ιστότοπους κοινωνικών μέσων, μηχανές jet κ.λπ.
- Τα μεγάλα δεδομένα θα μπορούσαν να είναι 1) Δομημένα, 2) Μη δομημένα, 3) Ημι-δομημένα
- Ο όγκος, η ποικιλία, η ταχύτητα και η μεταβλητότητα είναι λίγα χαρακτηριστικά Big Data
- Βελτιωμένη εξυπηρέτηση πελατών, καλύτερη λειτουργική απόδοση, Καλύτερη λήψη αποφάσεων είναι μερικά πλεονεκτήματα του Bigdata