Ξύσιμο Ιστού με VBA

Πίνακας περιεχομένων

Τι είναι η απόσυρση δεδομένων;
Πώς να προετοιμάσετε το Excel Macro πριν εκτελέσετε το Data Scraping χρησιμοποιώντας τον Internet Explorer
Πώς να ανοίξετε τον Internet Explorer χρησιμοποιώντας το Excel VBA;
Πώς να ανοίξετε ιστότοπο στον Internet Explorer χρησιμοποιώντας το VBA;
Πώς να αποσύρετε πληροφορίες από τον ιστότοπο χρησιμοποιώντας το VBA;

Τι είναι η απόσυρση δεδομένων;

Η συλλογή δεδομένων είναι η τεχνική που βοηθά στην εξαγωγή των επιθυμητών πληροφοριών από μια ιστοσελίδα HTML σε ένα τοπικό αρχείο που υπάρχει στον τοπικό υπολογιστή σας. Κανονικά, ένα τοπικό αρχείο θα μπορούσε να αντιστοιχεί σε ένα αρχείο excel, αρχείο λέξεων ή να πει οποιαδήποτε εφαρμογή Microsoft office. Βοηθά στη διοχέτευση κρίσιμων πληροφοριών από την ιστοσελίδα.

Η συλλογή δεδομένων γίνεται απλή όταν εργάζεστε σε ένα ερευνητικό έργο σε καθημερινή βάση και ένα τέτοιο έργο εξαρτάται αποκλειστικά από το Διαδίκτυο και τον ιστότοπο. Για να επεξηγήσουμε περαιτέρω το θέμα, ας πάρουμε το παράδειγμα ενός εμπόρου ημέρας που τρέχει μια μακροεντολή excel για να τραβήξει πληροφορίες αγοράς από έναν ιστότοπο χρηματοδότησης σε ένα φύλλο excel χρησιμοποιώντας το VBA.

Σε αυτό το σεμινάριο, θα μάθετε:

Τι είναι η απόσυρση δεδομένων;
Πώς να προετοιμάσετε το Excel Macro πριν εκτελέσετε το Data Scraping χρησιμοποιώντας τον Internet Explorer
Πώς να ανοίξετε τον Internet Explorer χρησιμοποιώντας το Excel VBA;
Πώς να ανοίξετε ιστότοπο στον Internet Explorer χρησιμοποιώντας το VBA;
Πώς να αποσύρετε πληροφορίες από τον ιστότοπο χρησιμοποιώντας το VBA;

Πώς να προετοιμάσετε το Excel Macro πριν εκτελέσετε το Data Scraping χρησιμοποιώντας τον Internet Explorer

Υπάρχουν ορισμένες προϋποθέσεις που πρέπει να εκτελεστούν στο αρχείο μακροεντολής excel προτού μπείτε στη διαδικασία της απόξεσης δεδομένων στο excel.

Αυτές οι προϋποθέσεις είναι οι εξής: -

Βήμα 1) Ανοίξτε μια μακροεντολή που βασίζεται στο Excel και αποκτήστε πρόσβαση στην επιλογή προγραμματιστή του excel.

Βήμα 2) Ορίστε την επιλογή Visual Basic κάτω από την κορδέλα προγραμματιστή.

Βήμα 3) Εισαγάγετε μια νέα ενότητα.

Βήμα 4) Αρχικοποιήστε μια νέα υπορουτίνα

Sub test()End sub

Η ενότητα θα είχε ως εξής: -

Βήμα 5) Πρόσβαση στην επιλογή αναφοράς κάτω από την καρτέλα εργαλείου και αναφορά Βιβλιοθήκη αντικειμένων Microsoft HTML και Microsoft Internet control.

Τα ακόλουθα αρχεία πρέπει να αναφέρονται στη λειτουργική μονάδα καθώς βοηθά στο άνοιγμα του Internet Explorer και διευκολύνει την ανάπτυξη μακροεντολών.

Τώρα το αρχείο Excel είναι έτοιμο να αλληλεπιδράσει με τον εξερευνητή Διαδικτύου. Το επόμενο βήμα θα ήταν η ενσωμάτωση σεναρίων μακροεντολών που θα διευκολύνουν τη συλλογή δεδομένων σε HTML.

Πώς να ανοίξετε τον Internet Explorer χρησιμοποιώντας το Excel VBA;

Βήμα 1) Αρχικοποιήστε τη μεταβλητή στις υπορουτίνες όπως φαίνεται παρακάτω

Sub test()Dim ie As New InternetExplorerDim doc As New HTMLDocument

Βήμα 2) Για να ανοίξετε τον εξερευνητή Διαδικτύου χρησιμοποιώντας VBA, γράψτε δηλαδή ορατό = true και πατήστε F5.

Sub test()Dim ie As New InternetExplorerDim doc As New HTMLDocumentIe.visible=true

Η ενότητα θα έχει ως εξής: -

Πώς να ανοίξετε ιστότοπο στον Internet Explorer χρησιμοποιώντας το VBA;

Εδώ είναι τα βήματα για το Άνοιγμα ιστότοπου στο Internet exploer χρησιμοποιώντας το VBA

Βήμα 1) Μόλις μπορείτε να αποκτήσετε πρόσβαση στον εξερευνητή Διαδικτύου χρησιμοποιώντας το Excel VBA, το επόμενο βήμα θα περιλαμβάνει την πρόσβαση σε έναν ιστότοπο χρησιμοποιώντας το VBA. Αυτό διευκολύνεται από το χαρακτηριστικό Navigate, όπου το URL πρέπει να περάσει ως διπλά εισαγωγικά στο χαρακτηριστικό. Ακολουθήστε τα παρακάτω βήματα όπως φαίνεται.

Sub test()Dim, ie As New InternetExplorerDim doc As New HTMLDocumentDim ecoll As Objectie.Visible = Trueie.navigate"http://demo.guru99.com/test/web-table-element.php"DoDoEventsLoop Until ie.readyState = READYSTATE_COMPLETE

Βήμα 2) - Πατήστε F5 για να εκτελέσετε τη μακροεντολή. Η ακόλουθη ιστοσελίδα θα ανοίξει όπως εμφανίζεται

Τώρα, η μακροεντολή excel είναι έτοιμη σε σχέση με την εκτέλεση των λειτουργιών ξυσμού. Το επόμενο βήμα θα εμφανίσει πώς μπορούν να εξαχθούν οι πληροφορίες από τον εξερευνητή Διαδικτύου χρησιμοποιώντας το VBA.

Πώς να αποσύρετε πληροφορίες από τον ιστότοπο χρησιμοποιώντας το VBA;

Ας υποθέσουμε ότι η μέρα που ο έμπορος θέλει να έχει πρόσβαση στα δεδομένα από τον ιστότοπο σε καθημερινή βάση. Κάθε φορά που ο έμπορος πατά το κουμπί κλικ, θα πρέπει να τραβά αυτόματα τα δεδομένα της αγοράς στο Excel.

Από τον παραπάνω ιστότοπο, θα ήταν απαραίτητο να επιθεωρήσετε ένα στοιχείο και να παρατηρήσετε πώς είναι δομημένα τα δεδομένα.

Βήμα 1) Αποκτήστε πρόσβαση στον παρακάτω πηγαίο κώδικα HTML πατώντας το κουμπί ελέγχου + Shift + I

Ο πηγαίος κώδικας θα έχει ως εξής: -

Sub test()Dim ie As New InternetExplorerDim doc As New HTMLDocumentDim ecoll As Objectie.Visible = Trueie.navigate "http://demo.guru99.com/test/web-table-element.php"DoDoEventsLoop Until ie.readyState = READYSTATE_COMPLETESet doc = ie.document

Όπως φαίνεται ότι τα δεδομένα είναι δομημένα ως ένας μοναδικός πίνακας HTML. Επομένως, για να τραβήξετε ολόκληρα δεδομένα από τον πίνακα html, θα απαιτούσε σχεδιασμό μακροεντολών που θα συλλέγει τα δεδομένα με τη μορφή συλλογής.

Στη συνέχεια, η συλλογή θα επικολληθεί στο Excel. Για να επιτευχθεί, τα επιθυμητά αποτελέσματα εκτελούν τα παρακάτω βήματα: -

Βήμα 2) Αρχικοποιήστε το έγγραφο Html στην υπορουτίνα

Η ενότητα VBA θα έχει ως εξής: -

Βήμα 3) Αρχικοποιήστε το στοιχείο συλλογής που υπάρχει στο έγγραφο HTML

Η ενότητα VBA θα έχει ως εξής: -

Sub test()Dim ie As New InternetExplorerDim doc As New HTMLDocumentDim ecoll As Objectie.Visible = Trueie.navigate "http://demo.guru99.com/test/web-table-element.php"DoDoEventsLoop Until ie.readyState = READYSTATE_COMPLETESet doc = ie.documentSet ecoll = doc.getElementsByTagName("table")

Βήμα 4) Αρχικοποιήστε τα κελιά φύλλων excel με τη βοήθεια ένθετου βρόχου όπως φαίνεται

Η ενότητα VBA θα έχει ως εξής: -

Sub test()Dim ie As New InternetExplorerDim doc As New HTMLDocumentDim ecoll As Objectie.Visible = Trueie.navigate "http://demo.guru99.com/test/web-table-element.php"DoDoEventsLoop Until ie.readyState = READYSTATE_COMPLETESet doc = ie.documentSet ecoll = doc.getElementsByTagName("table")

Το excel μπορεί να αρχικοποιηθεί χρησιμοποιώντας το χαρακτηριστικό εύρους του φύλλου excel ή μέσω του χαρακτηριστικού κελιών του φύλλου excel. Για να μειωθεί η πολυπλοκότητα του σεναρίου VBA, τα δεδομένα συλλογής αρχικοποιούνται στο χαρακτηριστικό Excel excel του φύλλου 1 που υπάρχει στο βιβλίο εργασίας.

Μόλις το σενάριο μακροεντολής είναι έτοιμο, περάστε και αντιστοιχίστε την υπορουτίνα στο κουμπί excel και βγείτε από την ενότητα του VBA. Επισημάνετε το κουμπί ως ανανέωση ή οποιοδήποτε κατάλληλο όνομα που θα μπορούσε να αρχικοποιηθεί σε αυτό. Για αυτό το παράδειγμα, το κουμπί αρχικοποιείται ως ανανέωση.

Βήμα 5) Πατήστε το κουμπί ανανέωσης για να λάβετε την έξοδο που αναφέρεται παρακάτω

Βήμα 6) Συγκρίνετε τα αποτελέσματα στο Excel με τα αποτελέσματα του Internet Explorer

Περίληψη:

Η συλλογή δεδομένων επιτρέπει στον χρήστη να αποσύρει μόνο τις πληροφορίες που θέλει ο χρήστης.
Το ξύσιμο μπορεί να πραγματοποιηθεί με τη χρήση του Internet Explorer.
Η διαδικασία απόξεσης είναι πιο αργή στην περίπτωση του Internet Explorer. Ωστόσο, παρέχει τα επιθυμητά αποτελέσματα στον χρήστη.
Η απόξεση πρέπει να γίνεται με απόλυτη προσοχή και προσοχή, καθώς μπορεί να βλάψει και να συντρίψει το σύστημα που χρησιμοποιείται για απόξεση.