Η επιστήμη των δεδομένων απευθύνεται σε όποιον αγαπά να ξετυλίγει μπερδεμένα πράγματα και να ανακαλύπτει κρυμμένα θαύματα σε ένα προφανές χάος.
Είναι σαν να ψάχνεις για βελόνες σε θημωνιές. μόνο που οι επιστήμονες δεδομένων δεν χρειάζεται να λερώσουν καθόλου τα χέρια τους. Χρησιμοποιώντας φανταχτερά εργαλεία με πολύχρωμα γραφήματα και κοιτάζοντας σωρούς αριθμών, απλώς βυθίζονται σε θημωνιές δεδομένων και βρίσκουν πολύτιμες βελόνες με τη μορφή πληροφοριών υψηλής επιχειρηματικής αξίας.
Ένα τυπικό επιστήμονας δεδομένων Η εργαλειοθήκη πρέπει να περιλαμβάνει τουλάχιστον ένα στοιχείο από καθεμία από αυτές τις κατηγορίες: σχεσιακές βάσεις δεδομένων, βάσεις δεδομένων NoSQL, πλαίσια μεγάλων δεδομένων, εργαλεία οπτικοποίησης, εργαλεία απόξεσης, γλώσσες προγραμματισμού, IDE και εργαλεία βαθιάς εκμάθησης.
Πίνακας περιεχομένων
Σχεσιακές βάσεις δεδομένων
Μια σχεσιακή βάση δεδομένων είναι μια συλλογή δεδομένων δομημένων σε πίνακες με χαρακτηριστικά. Οι πίνακες μπορούν να συνδεθούν μεταξύ τους, ορίζοντας σχέσεις και περιορισμούς και δημιουργώντας αυτό που ονομάζεται μοντέλο δεδομένων. Για να εργαστείτε με σχεσιακές βάσεις δεδομένων, συνήθως χρησιμοποιείτε μια γλώσσα που ονομάζεται SQL (Structured Query Language).
Οι εφαρμογές που διαχειρίζονται τη δομή και τα δεδομένα σε σχεσιακές βάσεις δεδομένων ονομάζονται RDBMS (Relational DataBase Management Systems). Υπάρχουν πολλές τέτοιες εφαρμογές και οι πιο σχετικές άρχισαν πρόσφατα να εστιάζουν στον τομέα της επιστήμης δεδομένων, προσθέτοντας λειτουργικότητα για εργασία με μεγάλα αποθετήρια δεδομένων και εφαρμογή τεχνικών όπως η ανάλυση δεδομένων και η μηχανική μάθηση.
SQL Server
Το RDBMS της Microsoft, εξελίσσεται για περισσότερα από 20 χρόνια επεκτείνοντας συνεχώς την επιχειρησιακή του λειτουργικότητα. Από την έκδοσή του το 2016, ο SQL Server προσφέρει ένα χαρτοφυλάκιο υπηρεσιών που περιλαμβάνει υποστήριξη για ενσωματωμένο κώδικα R. Ο SQL Server 2017 αυξάνει το στοίχημα μετονομάζοντας τις Υπηρεσίες R σε Υπηρεσίες Γλώσσας Μηχανής και προσθέτοντας υποστήριξη για τη γλώσσα Python (περισσότερα για αυτές τις δύο γλώσσες παρακάτω).
Με αυτές τις σημαντικές προσθήκες, ο SQL Server στοχεύει σε επιστήμονες δεδομένων που ενδέχεται να μην έχουν εμπειρία με την Transact SQL, τη μητρική γλώσσα ερωτημάτων του Microsoft SQL Server.
Ο SQL Server απέχει πολύ από το να είναι δωρεάν προϊόν. Μπορείτε να αγοράσετε άδειες για να το εγκαταστήσετε σε έναν διακομιστή Windows (η τιμή θα ποικίλλει ανάλογα με τον αριθμό των ταυτόχρονων χρηστών) ή να το χρησιμοποιήσετε ως υπηρεσία που βασίζεται σε χρέωση, μέσω του Microsoft Azure cloud. Η εκμάθηση του Microsoft SQL Server είναι εύκολη.
MySQL
Από την πλευρά του λογισμικού ανοιχτού κώδικα, MySQL έχει την κορωνίδα δημοτικότητας των RDBMS. Αν και η Oracle το κατέχει επί του παρόντος, εξακολουθεί να είναι δωρεάν και ανοιχτού κώδικα σύμφωνα με τους όρους μιας Γενικής Δημόσιας Άδειας GNU. Οι περισσότερες εφαρμογές που βασίζονται στο διαδίκτυο χρησιμοποιούν τη MySQL ως υποκείμενο χώρο αποθήκευσης δεδομένων, χάρη στη συμμόρφωσή της με το πρότυπο SQL.
Επίσης, βοηθούν στη δημοτικότητά του οι εύκολες διαδικασίες εγκατάστασης, η μεγάλη κοινότητα προγραμματιστών, οι τόνοι ολοκληρωμένης τεκμηρίωσης και τα εργαλεία τρίτων, όπως το phpMyAdmin, που απλοποιούν τις καθημερινές δραστηριότητες διαχείρισης. Παρόλο που η MySQL δεν έχει εγγενείς λειτουργίες για την ανάλυση δεδομένων, η ανοιχτότητά της επιτρέπει την ενσωμάτωσή της με σχεδόν οποιοδήποτε εργαλείο οπτικοποίησης, αναφοράς και επιχειρηματικής ευφυΐας που μπορείτε να επιλέξετε.
PostgreSQL
Μια άλλη επιλογή RDBMS ανοιχτού κώδικα είναι PostgreSQL. Αν και δεν είναι τόσο δημοφιλής όσο η MySQL, η PostgreSQL ξεχωρίζει για την ευελιξία και την επεκτασιμότητα της και την υποστήριξή της για πολύπλοκα ερωτήματα, αυτά που υπερβαίνουν τις βασικές δηλώσεις όπως SELECT, WHERE και GROUP BY.
Αυτά τα χαρακτηριστικά το αφήνουν να αποκτήσει δημοτικότητα μεταξύ των επιστημόνων δεδομένων. Ένα άλλο ενδιαφέρον χαρακτηριστικό είναι η υποστήριξη για πολλαπλά περιβάλλοντα, το οποίο του επιτρέπει να χρησιμοποιείται σε περιβάλλοντα cloud και εσωτερικής εγκατάστασης ή σε συνδυασμό και των δύο, κοινώς γνωστά ως υβριδικά περιβάλλοντα cloud.
Η PostgreSQL είναι σε θέση να συνδυάζει την ηλεκτρονική αναλυτική επεξεργασία (OLAP) με την ηλεκτρονική επεξεργασία συναλλαγών (OLTP), που λειτουργεί σε μια λειτουργία που ονομάζεται υβριδική επεξεργασία συναλλαγών/αναλυτικής επεξεργασίας (HTAP). Είναι επίσης κατάλληλο για εργασία με μεγάλα δεδομένα, χάρη στην προσθήκη PostGIS για γεωγραφικά δεδομένα και JSON-B για έγγραφα. Η PostgreSQL υποστηρίζει επίσης μη δομημένα δεδομένα, γεγονός που τους επιτρέπει να βρίσκονται και στις δύο κατηγορίες: βάσεις δεδομένων SQL και NoSQL.
Βάσεις δεδομένων NoSQL
Γνωστό και ως μη σχεσιακές βάσεις δεδομένων, αυτός ο τύπος αποθετηρίου δεδομένων παρέχει ταχύτερη πρόσβαση σε δομές δεδομένων χωρίς πίνακα. Μερικά παραδείγματα αυτών των δομών είναι γραφήματα, έγγραφα, μεγάλες στήλες, βασικές τιμές, μεταξύ πολλών άλλων. Τα καταστήματα δεδομένων NoSQL μπορούν να παραμερίσουν τη συνοχή των δεδομένων υπέρ άλλων πλεονεκτημάτων, όπως η διαθεσιμότητα, η κατάτμηση και η ταχύτητα πρόσβασης.
Δεδομένου ότι δεν υπάρχει SQL σε χώρους αποθήκευσης δεδομένων NoSQL, ο μόνος τρόπος για να υποβάλετε ερωτήματα σε αυτό το είδος βάσης δεδομένων είναι η χρήση γλωσσών χαμηλού επιπέδου και δεν υπάρχει τέτοια γλώσσα που να είναι τόσο ευρέως αποδεκτή όσο η SQL. Εξάλλου, δεν υπάρχουν τυπικές προδιαγραφές για το NoSQL. Αυτός είναι ο λόγος για τον οποίο, κατά ειρωνικό τρόπο, ορισμένες βάσεις δεδομένων NoSQL αρχίζουν να προσθέτουν υποστήριξη για σενάρια SQL.
MongoDB
MongoDB είναι ένα δημοφιλές σύστημα βάσης δεδομένων NoSQL, το οποίο αποθηκεύει δεδομένα με τη μορφή εγγράφων JSON. Η εστίασή του είναι στην επεκτασιμότητα και την ευελιξία αποθήκευσης δεδομένων με μη δομημένο τρόπο. Αυτό σημαίνει ότι δεν υπάρχει λίστα σταθερών πεδίων που πρέπει να τηρείται σε όλα τα αποθηκευμένα στοιχεία. Επιπλέον, η δομή των δεδομένων μπορεί να αλλάξει με την πάροδο του χρόνου, κάτι που σε μια σχεσιακή βάση δεδομένων συνεπάγεται υψηλό κίνδυνο να επηρεαστούν οι εφαρμογές που εκτελούνται.
Η τεχνολογία στο MongoDB επιτρέπει την ευρετηρίαση, τα ad-hoc ερωτήματα και τη συγκέντρωση που παρέχουν μια ισχυρή βάση για την ανάλυση δεδομένων. Η κατανεμημένη φύση της βάσης δεδομένων παρέχει υψηλή διαθεσιμότητα, κλιμάκωση και γεωγραφική κατανομή χωρίς την ανάγκη για εξελιγμένα εργαλεία.
Redis
Αυτό Το ένα είναι μια άλλη επιλογή στο ανοιχτού κώδικα, NoSQL front. Είναι βασικά ένα κατάστημα δομών δεδομένων που λειτουργεί στη μνήμη και, εκτός από την παροχή υπηρεσιών βάσης δεδομένων, λειτουργεί επίσης ως προσωρινή μνήμη και μεσίτης μηνυμάτων.
Υποστηρίζει μια μυριάδα ασυνήθιστων δομών δεδομένων, συμπεριλαμβανομένων κατακερματισμών, γεωχωρικών ευρετηρίων, λιστών και ταξινομημένων συνόλων. Είναι κατάλληλο για την επιστήμη δεδομένων χάρη στην υψηλή του απόδοση σε εργασίες έντασης δεδομένων, όπως υπολογισμός συνόλων διασταυρώσεων, ταξινόμηση μεγάλων λιστών ή δημιουργία σύνθετων ταξινομήσεων. Ο λόγος για την εξαιρετική απόδοση του Redis είναι η λειτουργία του στη μνήμη. Μπορεί να ρυθμιστεί για να διατηρεί τα δεδομένα επιλεκτικά.
Πλαίσια μεγάλων δεδομένων
Ας υποθέσουμε ότι πρέπει να αναλύσετε τα δεδομένα που δημιουργούν οι χρήστες του Facebook κατά τη διάρκεια ενός μήνα. Μιλάμε για φωτογραφίες, βίντεο, μηνύματα, όλα αυτά. Λαμβάνοντας υπόψη ότι περισσότερα από 500 terabytes δεδομένων προστίθενται καθημερινά στο κοινωνικό δίκτυο από τους χρήστες του, είναι δύσκολο να μετρηθεί ο όγκος που αντιπροσωπεύει ένας ολόκληρος μήνας των δεδομένων του.
Για να χειριστείτε αυτόν τον τεράστιο όγκο δεδομένων με αποτελεσματικό τρόπο, χρειάζεστε ένα κατάλληλο πλαίσιο ικανό να υπολογίζει στατιστικά στοιχεία σε μια κατανεμημένη αρχιτεκτονική. Υπάρχουν δύο από τα πλαίσια που οδηγούν την αγορά: το Hadoop και το Spark.
Hadoop
Ως πλαίσιο μεγάλων δεδομένων, Hadoop ασχολείται με την πολυπλοκότητα που σχετίζεται με την ανάκτηση, την επεξεργασία και την αποθήκευση τεράστιων σωρών δεδομένων. Το Hadoop λειτουργεί σε ένα κατανεμημένο περιβάλλον, που αποτελείται από συμπλέγματα υπολογιστών που επεξεργάζονται απλούς αλγόριθμους. Υπάρχει ένας αλγόριθμος ενορχήστρωσης, που ονομάζεται MapReduce, που χωρίζει μεγάλες εργασίες σε μικρά μέρη και στη συνέχεια διανέμει αυτές τις μικρές εργασίες μεταξύ των διαθέσιμων συμπλεγμάτων.
Το Hadoop συνιστάται για χώρους αποθήκευσης δεδομένων εταιρικής κλάσης που απαιτούν γρήγορη πρόσβαση και υψηλή διαθεσιμότητα, όλα αυτά σε ένα σύστημα χαμηλού κόστους. Χρειάζεστε όμως έναν διαχειριστή Linux με deep Γνώσεις Hadoop να διατηρήσει το πλαίσιο και να λειτουργήσει.
Σπίθα
Το Hadoop δεν είναι το μόνο διαθέσιμο πλαίσιο για χειραγώγηση μεγάλων δεδομένων. Ένα άλλο μεγάλο όνομα σε αυτόν τον τομέα είναι Σπίθα. Ο κινητήρας Spark σχεδιάστηκε για να ξεπερνά το Hadoop όσον αφορά την ταχύτητα ανάλυσης και την ευκολία χρήσης. Προφανώς, πέτυχε αυτόν τον στόχο: ορισμένες συγκρίσεις λένε ότι το Spark τρέχει έως και 10 φορές πιο γρήγορα από το Hadoop όταν εργάζεται σε δίσκο και 100 φορές πιο γρήγορα λειτουργεί στη μνήμη. Απαιτεί επίσης μικρότερο αριθμό μηχανημάτων για την επεξεργασία του ίδιου όγκου δεδομένων.
Εκτός από την ταχύτητα, ένα άλλο πλεονέκτημα του Spark είναι η υποστήριξή του για επεξεργασία ροής. Αυτός ο τύπος επεξεργασίας δεδομένων, που ονομάζεται επίσης επεξεργασία σε πραγματικό χρόνο, περιλαμβάνει συνεχή εισαγωγή και έξοδο δεδομένων.
Εργαλεία οπτικοποίησης
Ένα κοινό αστείο μεταξύ των επιστημόνων δεδομένων λέει ότι, αν βασανίσετε τα δεδομένα για αρκετό καιρό, θα ομολογήσετε αυτό που πρέπει να γνωρίζετε. Στην περίπτωση αυτή, «βασανιστήριο» σημαίνει χειραγώγηση των δεδομένων μετασχηματίζοντας και φιλτράροντάς τα, προκειμένου να τα οπτικοποιήσετε καλύτερα. Και εκεί είναι που τα εργαλεία οπτικοποίησης δεδομένων έρχονται στη σκηνή. Αυτά τα εργαλεία λαμβάνουν προεπεξεργασμένα δεδομένα από πολλαπλές πηγές και δείχνουν τις αποκαλυπτόμενες αλήθειες τους σε γραφικές, κατανοητές μορφές.
Υπάρχουν εκατοντάδες εργαλεία που εμπίπτουν σε αυτή την κατηγορία. Είτε σας αρέσει είτε όχι, το πιο ευρέως χρησιμοποιούμενο είναι το Microsoft Excel και τα εργαλεία χαρτογράφησης του. Τα γραφήματα του Excel είναι προσβάσιμα σε οποιονδήποτε χρησιμοποιεί το Excel, αλλά έχουν περιορισμένη λειτουργικότητα. Το ίδιο ισχύει και για άλλες εφαρμογές υπολογιστικών φύλλων, όπως τα Φύλλα Google και το Libre Office. Αλλά εδώ μιλάμε για πιο συγκεκριμένα εργαλεία, ειδικά προσαρμοσμένα για επιχειρηματική ευφυΐα (BI) και ανάλυση δεδομένων.
Power BI
Πριν από λίγο καιρό, η Microsoft κυκλοφόρησε το Power BI εφαρμογή οπτικοποίησης. Μπορεί να λάβει δεδομένα από διάφορες πηγές, όπως αρχεία κειμένου, βάσεις δεδομένων, υπολογιστικά φύλλα και πολλές διαδικτυακές υπηρεσίες δεδομένων, συμπεριλαμβανομένων των Facebook και Twitter, και να τα χρησιμοποιήσει για τη δημιουργία πίνακες εργαλείων γεμάτους με γραφήματα, πίνακες, χάρτες και πολλά άλλα αντικείμενα οπτικοποίησης. Τα αντικείμενα του πίνακα εργαλείων είναι διαδραστικά, πράγμα που σημαίνει ότι μπορείτε να κάνετε κλικ σε μια σειρά δεδομένων σε ένα γράφημα για να την επιλέξετε και να τη χρησιμοποιήσετε ως φίλτρο για τα άλλα αντικείμενα στον πίνακα.
Το Power BI είναι ένας συνδυασμός μιας εφαρμογής επιτραπέζιου υπολογιστή των Windows (μέρος της σουίτας του Office 365), μιας εφαρμογής Ιστού και μιας ηλεκτρονικής υπηρεσίας για τη δημοσίευση των πινάκων εργαλείων στον Ιστό και την κοινή χρήση τους με τους χρήστες σας. Η υπηρεσία σάς επιτρέπει να δημιουργείτε και να διαχειρίζεστε δικαιώματα για να παραχωρείτε πρόσβαση στους πίνακες μόνο σε ορισμένα άτομα.
Ζώσα σκηνική εικών
Ζώσα σκηνική εικών είναι μια άλλη επιλογή για τη δημιουργία διαδραστικών πινάκων εργαλείων από συνδυασμό πολλαπλών πηγών δεδομένων. Προσφέρει επίσης μια έκδοση για επιτραπέζιους υπολογιστές, μια έκδοση ιστού και μια ηλεκτρονική υπηρεσία για κοινή χρήση των πινάκων εργαλείων που δημιουργείτε. Λειτουργεί φυσικά «με τον τρόπο που σκέφτεστε» (όπως ισχυρίζεται) και είναι εύκολο στη χρήση για μη τεχνικούς ανθρώπους, κάτι που βελτιώνεται μέσω πολλών σεμιναρίων και διαδικτυακών βίντεο.
Μερικά από τα πιο σημαντικά χαρακτηριστικά του Tableau είναι οι απεριόριστες υποδοχές δεδομένων, τα ζωντανά δεδομένα και τα δεδομένα στη μνήμη και τα βελτιστοποιημένα για κινητά σχέδια του.
QlikView
QlikView προσφέρει μια καθαρή και απλή διεπαφή χρήστη για να βοηθήσει τους αναλυτές να ανακαλύψουν νέες πληροφορίες από υπάρχοντα δεδομένα μέσω οπτικών στοιχείων που είναι εύκολα κατανοητά σε όλους.
Αυτό το εργαλείο είναι γνωστό ότι είναι μια από τις πιο ευέλικτες πλατφόρμες επιχειρηματικής ευφυΐας. Παρέχει μια λειτουργία που ονομάζεται Associative Search, η οποία σας βοηθά να εστιάσετε στα πιο σημαντικά δεδομένα, εξοικονομώντας σας χρόνο που θα χρειαστείτε για να τα βρείτε μόνοι σας.
Με το QlikView, μπορείτε να συνεργαστείτε με συνεργάτες σε πραγματικό χρόνο, κάνοντας συγκριτική ανάλυση. Όλα τα σχετικά δεδομένα μπορούν να συνδυαστούν σε μία εφαρμογή, με χαρακτηριστικά ασφαλείας που περιορίζουν την πρόσβαση στα δεδομένα.
Εργαλεία απόξεσης
Την εποχή που το Διαδίκτυο μόλις αναδυόταν, οι ανιχνευτές Ιστού άρχισαν να ταξιδεύουν μαζί με τα δίκτυα να συλλέγουν πληροφορίες στο δρόμο τους. Καθώς η τεχνολογία εξελίχθηκε, ο όρος ανίχνευση ιστού άλλαξε για την απόξεση ιστού, αλλά εξακολουθεί να σημαίνει το ίδιο: αυτόματη εξαγωγή πληροφοριών από ιστότοπους. Για να κάνετε scraping ιστού, χρησιμοποιείτε αυτοματοποιημένες διαδικασίες ή bots, που μεταπηδούν από τη μια ιστοσελίδα στην άλλη, εξάγοντας δεδομένα από αυτές και εξάγοντάς τα σε διαφορετικές μορφές ή εισάγοντάς τα σε βάσεις δεδομένων για περαιτέρω ανάλυση.
Παρακάτω συνοψίζουμε τα χαρακτηριστικά τριών από τα πιο δημοφιλή web scrapers που είναι διαθέσιμα σήμερα.
Octoparse
Octoparse Το web scraper προσφέρει μερικά ενδιαφέροντα χαρακτηριστικά, συμπεριλαμβανομένων ενσωματωμένων εργαλείων για τη λήψη πληροφοριών από ιστότοπους που δεν διευκολύνουν τα ρομπότ απόξεσης να κάνουν τη δουλειά τους. Είναι μια εφαρμογή επιτραπέζιου υπολογιστή που δεν απαιτεί κωδικοποίηση, με φιλικό προς τον χρήστη διεπαφή χρήστη που επιτρέπει την οπτικοποίηση της διαδικασίας εξαγωγής μέσω ενός σχεδιαστή ροής γραφικών.
Μαζί με την αυτόνομη εφαρμογή, το Octoparse προσφέρει μια υπηρεσία που βασίζεται σε σύννεφο για να επιταχύνει τη διαδικασία εξαγωγής δεδομένων. Οι χρήστες μπορούν να απολαύσουν αύξηση ταχύτητας 4x έως 10x όταν χρησιμοποιούν την υπηρεσία cloud αντί για την εφαρμογή επιφάνειας εργασίας. Εάν παραμείνετε στην έκδοση για υπολογιστές, μπορείτε να χρησιμοποιήσετε το Octoparse δωρεάν. Αλλά αν προτιμάτε να χρησιμοποιήσετε την υπηρεσία cloud, θα πρέπει να επιλέξετε ένα από τα επί πληρωμή πακέτα της.
Content Grabber
Αν ψάχνετε για ένα πλούσιο σε χαρακτηριστικά εργαλείο απόξεσης, θα πρέπει να το προσέξετε Content Grabber. Σε αντίθεση με το Octoparse, για να χρησιμοποιήσετε το Content Grabber, είναι απαραίτητο να έχετε προηγμένες δεξιότητες προγραμματισμού. Σε αντάλλαγμα, λαμβάνετε επεξεργασία σεναρίων, διεπαφές εντοπισμού σφαλμάτων και άλλες προηγμένες λειτουργίες. Με το Content Grabber, μπορείτε να χρησιμοποιήσετε γλώσσες .Net για να γράψετε κανονικές εκφράσεις. Με αυτόν τον τρόπο, δεν χρειάζεται να δημιουργήσετε τις εκφράσεις χρησιμοποιώντας ένα ενσωματωμένο εργαλείο.
Το εργαλείο προσφέρει ένα API (Διασύνδεση προγραμματισμού εφαρμογών) που μπορείτε να χρησιμοποιήσετε για να προσθέσετε δυνατότητες απόξεσης στην επιφάνεια εργασίας και τις εφαρμογές ιστού σας. Για να χρησιμοποιήσετε αυτό το API, οι προγραμματιστές πρέπει να αποκτήσουν πρόσβαση στην υπηρεσία Content Grabber Windows.
ParseHub
Αυτή η ξύστρα μπορεί να χειριστεί μια εκτενή λίστα διαφορετικών τύπων περιεχομένου, όπως φόρουμ, ένθετα σχόλια, ημερολόγια και χάρτες. Μπορεί επίσης να ασχοληθεί με σελίδες που περιέχουν έλεγχο ταυτότητας, Javascript, Ajax και άλλα. Το ParseHub μπορεί να χρησιμοποιηθεί ως εφαρμογή ιστού ή εφαρμογή επιτραπέζιου υπολογιστή με δυνατότητα εκτέλεσης σε Windows, macOS X και Linux.
Όπως και το Content Grabber, συνιστάται να έχετε κάποιες γνώσεις προγραμματισμού για να αξιοποιήσετε στο έπακρο το ParseHub. Έχει μια δωρεάν έκδοση, περιορισμένη σε 5 έργα και 200 σελίδες ανά εκτέλεση.
Γλώσσες προγραμματισμού
Ακριβώς όπως η προαναφερθείσα γλώσσα SQL έχει σχεδιαστεί ειδικά για να λειτουργεί με σχεσιακές βάσεις δεδομένων, υπάρχουν και άλλες γλώσσες που δημιουργήθηκαν με σαφή εστίαση στην επιστήμη των δεδομένων. Αυτές οι γλώσσες επιτρέπουν στους προγραμματιστές να γράφουν προγράμματα που ασχολούνται με μαζική ανάλυση δεδομένων, όπως στατιστικά και μηχανική εκμάθηση.
Η SQL θεωρείται επίσης μια σημαντική δεξιότητα που πρέπει να έχουν οι προγραμματιστές για να κάνουν την επιστήμη δεδομένων, αλλά αυτό συμβαίνει επειδή οι περισσότεροι οργανισμοί εξακολουθούν να έχουν πολλά δεδομένα σε σχεσιακές βάσεις δεδομένων. Οι «αληθινές» γλώσσες της επιστήμης δεδομένων είναι η R και η Python.
Πύθων
Πύθων είναι μια υψηλού επιπέδου, ερμηνευμένη, γενικής χρήσης γλώσσα προγραμματισμού, κατάλληλη για γρήγορη ανάπτυξη εφαρμογών. Έχει μια απλή και εύκολη στην εκμάθηση σύνταξη που επιτρέπει μια απότομη καμπύλη μάθησης και για μειώσεις στο κόστος συντήρησης του προγράμματος. Υπάρχουν πολλοί λόγοι για τους οποίους είναι η προτιμώμενη γλώσσα για την επιστήμη δεδομένων. Για να αναφέρουμε μερικά: δυνατότητες σεναρίου, πολυγλωσσία, φορητότητα και απόδοση.
Αυτή η γλώσσα είναι ένα καλό σημείο εκκίνησης για τους επιστήμονες δεδομένων που σχεδιάζουν να πειραματιστούν πολύ πριν ξεκινήσουν την πραγματική και σκληρή εργασία συλλογής δεδομένων και που θέλουν να αναπτύξουν ολοκληρωμένες εφαρμογές.
R
ο Γλώσσα R χρησιμοποιείται κυρίως για στατιστική επεξεργασία δεδομένων και γραφήματα. Αν και δεν προορίζεται να αναπτύξει πλήρεις εφαρμογές, όπως θα συνέβαινε στην περίπτωση της Python, το R έχει γίνει πολύ δημοφιλές τα τελευταία χρόνια λόγω των δυνατοτήτων του για εξόρυξη δεδομένων και ανάλυση δεδομένων.
Χάρη σε μια συνεχώς αναπτυσσόμενη βιβλιοθήκη ελεύθερα διαθέσιμων πακέτων που επεκτείνουν τη λειτουργικότητά της, το R είναι σε θέση να κάνει κάθε είδους εργασία συλλογής δεδομένων, συμπεριλαμβανομένης της γραμμικής/μη γραμμικής μοντελοποίησης, ταξινόμησης, στατιστικών δοκιμών κ.λπ.
Δεν είναι μια εύκολη γλώσσα στην εκμάθηση, αλλά μόλις εξοικειωθείτε με τη φιλοσοφία της, θα κάνετε στατιστικούς υπολογιστές σαν επαγγελματίας.
Μασών του μηνός
Εάν σκέφτεστε σοβαρά να αφοσιωθείτε στην επιστήμη των δεδομένων, τότε θα πρέπει να επιλέξετε προσεκτικά ένα ολοκληρωμένο περιβάλλον ανάπτυξης (IDE) που ταιριάζει στις ανάγκες σας, επειδή εσείς και το IDE σας θα περάσετε πολύ χρόνο δουλεύοντας μαζί.
Ένα ιδανικό IDE θα πρέπει να συγκεντρώσει όλα τα εργαλεία που χρειάζεστε στην καθημερινή σας εργασία ως κωδικοποιητής: ένα πρόγραμμα επεξεργασίας κειμένου με επισήμανση σύνταξης και αυτόματη συμπλήρωση, ένα ισχυρό πρόγραμμα εντοπισμού σφαλμάτων, ένα πρόγραμμα περιήγησης αντικειμένων και εύκολη πρόσβαση σε εξωτερικά εργαλεία. Εξάλλου, πρέπει να είναι συμβατό με τη γλώσσα της προτίμησής σας, επομένως είναι καλή ιδέα να επιλέξετε την IDE σας αφού μάθετε ποια γλώσσα θα χρησιμοποιήσετε.
Spyder
Αυτό Το γενικό IDE προορίζεται κυρίως για επιστήμονες και αναλυτές που πρέπει επίσης να κωδικοποιήσουν. Για να τους κάνει άνετα, δεν περιορίζεται στη λειτουργικότητα IDE – παρέχει επίσης εργαλεία για εξερεύνηση/οπτικοποίηση δεδομένων και διαδραστική εκτέλεση, όπως θα μπορούσε να βρεθεί σε ένα επιστημονικό πακέτο. Ο επεξεργαστής στο Spyder υποστηρίζει πολλές γλώσσες και προσθέτει ένα πρόγραμμα περιήγησης κλάσης, διαχωρισμό παραθύρων, μετάβαση σε ορισμό, αυτόματη συμπλήρωση κώδικα και ακόμη και ένα εργαλείο ανάλυσης κώδικα.
Το πρόγραμμα εντοπισμού σφαλμάτων σάς βοηθά να ανιχνεύσετε κάθε γραμμή κώδικα διαδραστικά και ένα προφίλτρο σάς βοηθά να βρείτε και να εξαλείψετε τις ανεπάρκειες.
PyCharm
Εάν προγραμματίζετε σε Python, οι πιθανότητες είναι ότι το IDE της επιλογής σας θα είναι PyCharm. Διαθέτει έξυπνο πρόγραμμα επεξεργασίας κώδικα με έξυπνη αναζήτηση, συμπλήρωση κώδικα και εντοπισμό και επιδιόρθωση σφαλμάτων. Με ένα μόνο κλικ, μπορείτε να μεταβείτε από το πρόγραμμα επεξεργασίας κώδικα σε οποιοδήποτε παράθυρο που σχετίζεται με το περιβάλλον, συμπεριλαμβανομένης της δοκιμής, της σούπερ μεθόδου, της υλοποίησης, της δήλωσης και άλλων. Το PyCharm υποστηρίζει το Anaconda και πολλά επιστημονικά πακέτα, όπως το NumPy και το Matplotlib, για να αναφέρουμε μόνο δύο από αυτά.
Προσφέρει ενσωμάτωση με τα πιο σημαντικά συστήματα ελέγχου έκδοσης, καθώς και με δοκιμαστικό δρομέα, προφίλ και εντοπισμό σφαλμάτων. Για να κλείσει τη συμφωνία, ενσωματώνεται επίσης με το Docker και το Vagrant για να παρέχει ανάπτυξη και μεταφορά εμπορευματοκιβωτίων μεταξύ πλατφορμών.
RStudio
Για εκείνους τους επιστήμονες δεδομένων που προτιμούν την ομάδα R, το IDE της επιλογής θα πρέπει να είναι RStudio, λόγω των πολλών χαρακτηριστικών του. Μπορείτε να το εγκαταστήσετε σε έναν επιτραπέζιο υπολογιστή με Windows, macOS ή Linux ή μπορείτε να το εκτελέσετε από ένα πρόγραμμα περιήγησης ιστού, εάν δεν θέλετε να το εγκαταστήσετε τοπικά. Και οι δύο εκδόσεις προσφέρουν καλούδια, όπως επισήμανση σύνταξης, έξυπνη εσοχή και συμπλήρωση κώδικα. Υπάρχει ένα ενσωματωμένο πρόγραμμα προβολής δεδομένων που είναι χρήσιμο όταν χρειάζεται να περιηγηθείτε σε δεδομένα σε πίνακα.
Η λειτουργία εντοπισμού σφαλμάτων επιτρέπει την προβολή του τρόπου με τον οποίο τα δεδομένα ενημερώνονται δυναμικά κατά την εκτέλεση ενός προγράμματος ή ενός σεναρίου βήμα προς βήμα. Για έλεγχο έκδοσης, το RStudio ενσωματώνει υποστήριξη για SVN και Git. Ένα ωραίο πλεονέκτημα είναι η δυνατότητα δημιουργίας διαδραστικών γραφικών, με το Shiny και τις βιβλιοθήκες.
Η προσωπική σας εργαλειοθήκη
Σε αυτό το σημείο, θα πρέπει να έχετε μια πλήρη εικόνα των εργαλείων που πρέπει να γνωρίζετε για να διαπρέψετε στην επιστήμη δεδομένων. Επίσης, ελπίζουμε να σας δώσαμε αρκετές πληροφορίες για να αποφασίσετε ποια είναι η πιο βολική επιλογή σε κάθε κατηγορία εργαλείων. Τώρα είναι στο χέρι σας. Η επιστήμη των δεδομένων είναι ένα ακμάζον πεδίο αναπτύξουν καριέρα. Αλλά αν θέλετε να το κάνετε, πρέπει να παρακολουθείτε τις αλλαγές στις τάσεις και τις τεχνολογίες, καθώς συμβαίνουν σχεδόν σε καθημερινή βάση.