Η Microsoft μετέτρεψε τις υπηρεσίες της Azure σε λύσεις cloud για επιχειρήσεις που ενσωματώνουν χαρακτηριστικά αιχμής, όπως διαχείριση και ανάλυση δεδομένων.
Η Microsoft κυκλοφόρησε το Azure SQL Data Warehouse όταν πήρε την απόφαση να χρησιμοποιήσει το cloud. Η Microsoft προωθεί την αποθήκη δεδομένων Azure SQL με μεγάλη ενέργεια. Είναι μια ευέλικτη υπηρεσία διαχείρισης βάσεων δεδομένων που συνδυάζει ελαστικές δυνατότητες αποθήκης δεδομένων με αυτήν.
Πίνακας περιεχομένων
Τι είναι το Azure SQL Data Warehouse;
Το Azure SQL Data Warehouse (τώρα ονομάζεται Azure Synapse Dedicated SQL Pool, μια αποθήκη δεδομένων που βασίζεται σε σύννεφο, σας επιτρέπει να δημιουργήσετε και να παραδώσετε μια αποθήκη δεδομένων στο Microsoft Azure. Το Azure Data Warehouse μπορεί να επεξεργάζεται μεγάλες ποσότητες σχεσιακών και μη σχεσιακών δεδομένων. Προσφέρει Δυνατότητες αποθήκης δεδομένων SQL και πλατφόρμα υπολογιστικού νέφους.
Υποστηρίζει εγγενώς διακομιστές SQL και μπορεί να μετεγκαταστήσει υπάρχοντες διακομιστές SQL στην αποθήκη δεδομένων SQL. Μπορείτε επίσης να χρησιμοποιήσετε τα ίδια ερωτήματα και δομές. Επιπλέον, οι συνδρομητές έχουν άμεση πρόσβαση σε κλίμακα, παύση και συρρίκνωση των πόρων της αποθήκης δεδομένων τους.
Χρησιμοποιείται για την παροχή μιας ολοκληρωμένης λύσης αποθήκης δεδομένων εταιρικής κλάσης που βασίζεται σε SQL. Μπορεί επίσης να χρησιμοποιηθεί με τους εξής τρόπους:
- Μετανάστευση υφιστάμενων αποθηκών δεδομένων (on-premises) στο cloud
- Παρέχετε μια λύση αποθήκης δεδομένων σε εφαρμογές και υπηρεσίες που χρειάζονται αποθήκευση και ανάκτηση δεδομένων κατά το χρόνο εκτέλεσης – όπως οι εφαρμογές web.
- Μια υβριδική λύση αποθήκης δεδομένων που συνδέεται με το Data Warehouse που φιλοξενείται από το Azure και τον SQL Server επί τόπου.
Το καλύτερο χαρακτηριστικό του Azure SQL Data Warehouse είναι η ελαστική του φύση. Επιτρέπει την επεκτασιμότητα και τη δυνατότητα διαχείρισης τόσο της αποθήκευσης όσο και του υπολογισμού των πόρων χωριστά. Δημιουργεί μια πλατφόρμα win/win όπου οι χρήστες πληρώνουν μόνο για ό,τι χρησιμοποιούν και όταν το χρησιμοποιούν.
Η υπολογιστική πλευρά του Azure SQL Data Warehouse βασίζεται στη Μονάδα Αποθήκης Δεδομένων (DWU), η οποία παρακολουθεί υπολογιστικούς πόρους, όπως I/O αποθήκευσης και μνήμη σε όλους τους συμμετέχοντες κόμβους υπολογιστών.
Το Azure SQL Data Warehouse προσφέρει μια δυνατότητα ασφάλειας σύνδεσης. Αυτό σας επιτρέπει να περιορίσετε την πρόσβαση σε συγκεκριμένες διευθύνσεις IP ή εύρη IP χρησιμοποιώντας κανόνες τείχους προστασίας. Η ενσωμάτωση με τον έλεγχο ταυτότητας του Azure Active Directory (AAD) θα σας επιτρέψει να συνδεθείτε στο Azure SQL Data Warehouse χρησιμοποιώντας ταυτότητες από το Azure AD.
Η κρυπτογράφηση πολλαπλών επιπέδων παρέχει προστασία σε κατάσταση ηρεμίας, κίνησης και χρήσης για την προστασία των δεδομένων σας από κακή χρήση. Διατίθενται πρόσθετα εργαλεία για τον έλεγχο και την παρακολούθηση δεδομένων και τον εντοπισμό παραβιάσεων ασφάλειας.
Όταν συνδυάζεται με άλλα εργαλεία της Microsoft, το Azure SQL Data Warehouse προσφέρει απαράμιλλη απόδοση, η οποία αποτελεί σημαντικό πλεονέκτημα σε σχέση με άλλες συγκρίσιμες υπηρεσίες στην αγορά.
Azure Synapse Dedicated SQL Pool
Το Azure Synapse SQL Pool Dedicated SQL Pool (προηγουμένως Azure SQL Data Warehouse) είναι μια τράπεζα δεδομένων μαζικά παράλληλης επεξεργασίας παρόμοια με τεχνολογίες βάσης δεδομένων κλίμακας που βασίζονται σε στήλη, όπως το Snowflake και το Amazon Redshift. Μοιάζει με έναν παραδοσιακό SQL Server στον τελικό χρήστη, αλλά δεν αποθηκεύει και επεξεργάζεται δεδομένα σε έναν κόμβο.
Αυτό μπορεί να βελτιώσει δραματικά την απόδοση των αποθηκών δεδομένων που έχουν μέγεθος μεγαλύτερο από μερικά Terabyte, αλλά μπορεί να υπάρχουν καλύτερες λύσεις για μικρότερες υλοποιήσεις.
Η υποκείμενη αρχιτεκτονική είναι πολύ διαφορετική από τους παραδοσιακούς SQL Servers. Αυτό σημαίνει ότι η σύνταξη και οι μέθοδοι ανάπτυξης είναι επίσης διαφορετικές.
Οι διανομές αντιστοιχίζονται σε κόμβους Υπολογισμού σε μια ειδική ομάδα SQL. Η ομάδα αντιστοιχίζει ξανά τις διανομές σας στους κόμβους Υπολογισμού καθώς αγοράζετε περισσότερους υπολογιστικούς πόρους.
Μπορείτε να εισαγάγετε μεγάλα δεδομένα χρησιμοποιώντας απλά ερωτήματα PolyBase SQL και, στη συνέχεια, να χρησιμοποιήσετε τη μηχανή κατανεμημένων ερωτημάτων για αναλυτικά στοιχεία υψηλής απόδοσης.
Η ειδική πισίνα SQL, πρώην SQL DW, θα παρέχει στην επιχείρησή σας μια ενιαία πηγή αλήθειας που σας επιτρέπει να ενσωματώνετε και να αναλύετε δεδομένα πιο γρήγορα και να παρέχει πιο ισχυρές πληροφορίες.
Ποια είναι η διαφορά μεταξύ των ειδικών δεξαμενών SQL του Azure Synapse και των ειδικών δεξαμενών SQL σε έναν χώρο εργασίας του Azure Synapse Analytics;
Το PowerShell είναι ένας από τους τομείς με τη μεγαλύτερη σύγχυση στην τεκμηρίωση μεταξύ «του αποκλειστικού SQL Pool (πρώην SQLDW) και του «Synapse Analytics» αποκλειστικών ομάδων SQL.
Η αρχική υλοποίηση του SQL DW χρησιμοποιεί έναν λογικό διακομιστή παρόμοιο με τον Azure SQL DB. Μια μονάδα PowerShell με το όνομα Az.Sql είναι κοινόχρηστη.
Αυτή η ενότητα δημιουργεί ένα νέο χώρο συγκέντρωσης SQL (πρώην SQLDW) χρησιμοποιώντας το cmdlet New.AzSqlDatabase. Έχει μια παράμετρο “Edition” που σας επιτρέπει να καθορίσετε ότι θέλετε ένα DataWarehouse.
Το Synapse Analytics ήρθε με μια νέα ενότητα PowerShell από το Az.Synapse όταν κυκλοφόρησε για πρώτη φορά. Για να δημιουργήσετε μια ειδική ομάδα SQL σε έναν χώρο εργασίας του Synapse Analytics, θα χρησιμοποιούσατε το New-AzSynapseSqlPool.
Αυτή η λειτουργική μονάδα PowerShell δεν απαιτεί από εσάς να συμπεριλάβετε την παράμετρο “Edition”, καθώς χρησιμοποιείται μόνο για τεχνουργήματα Synapse.
Ένα αποκλειστικό SQL pool παρέχει υπολογιστές και αποθήκευση που βασίζονται σε T-SQL. Τα δεδομένα μπορούν να φορτωθούν, να μοντελοποιηθούν και να υποβληθούν σε επεξεργασία στο Synapse για να παρέχουν ταχύτερη πληροφόρηση.
Το Azure Synapse προσφέρει πισίνες SQL χωρίς διακομιστή και Apache Spark εκτός από τις δεξαμενές Dedicated SQL. Μπορείτε να επιλέξετε το σωστό με βάση τις απαιτήσεις σας.
Μια πισίνα SQL χωρίς διακομιστή σάς επιτρέπει να υποβάλετε ερωτήματα στα δεδομένα που είναι αποθηκευμένα στη λίμνη δεδομένων σας.
Τι κάνει το Azure Synapse Dedicated SQL Pool;
Το Azure Synapse Dedicated SQL Pool χρησιμοποιεί μια αρχιτεκτονική κλιμάκωσης για τη διανομή του υπολογισμού των δεδομένων σε πολλούς κόμβους. Μπορείτε να κλιμακώσετε τον υπολογισμό ανεξάρτητα από τον αποθηκευτικό χώρο, επειδή ο υπολογισμός διαφέρει από τον αποθηκευτικό χώρο.
Οι ομάδες SQL χωρίς διακομιστή είναι χωρίς διακομιστές και κλιμακώνονται αυτόματα ώστε να καλύπτουν τις απαιτήσεις πόρων ερωτημάτων. Προσαρμόζεται στις μεταβαλλόμενες τοπολογίες προσθέτοντας, αφαιρώντας ή αποτυγχάνοντας πάνω από κόμβους. Αυτό διασφαλίζει ότι το ερώτημά σας έχει επαρκείς πόρους και μπορεί να ολοκληρωθεί με επιτυχία.
Το Synapse SQL βασίζεται σε μια αρχιτεκτονική που βασίζεται σε κόμβους. Το Synapse SQL χρησιμοποιεί μια αρχιτεκτονική που βασίζεται σε κόμβους. Οι εφαρμογές μπορούν να συνδεθούν στον κόμβο ελέγχου και να εκδώσουν εντολές T-SQL. Αυτό είναι το μοναδικό σημείο για το Synapse SQL.
Οι κόμβοι ελέγχου Azure Synapse SQL χρησιμοποιούν μια μηχανή κατανεμημένης αναζήτησης που βελτιστοποιεί τα ερωτήματα για παράλληλη επεξεργασία και στη συνέχεια μεταβιβάζει λειτουργίες στους κόμβους Υπολογισμού, ώστε να μπορούν να κάνουν τη δουλειά τους παράλληλα.
Ο Κόμβος Ελέγχου Pool SQL χωρίς διακομιστή χρησιμοποιεί μηχανή επεξεργασίας κατανεμημένων ερωτημάτων (DQP), για τη βελτιστοποίηση και την ενορχήστρωση της κατανεμημένης εκτέλεσης.
Αυτό γίνεται με το διαχωρισμό του ερωτήματος χρήστη σε μικρότερα ερωτήματα που μπορούν να εκτελεστούν σε κόμβους Υπολογισμού. Κάθε εργασία είναι μια κατανεμημένη μονάδα εκτέλεσης. Ανακτά δεδομένα από άλλες εργασίες, ομαδοποιεί αρχεία και τα διαβάζει από την αποθήκευση.
Οι κόμβοι υπολογιστών αποθηκεύουν όλα τα δεδομένα χρήστη και εκτελούν παράλληλα ερωτήματα. Η Υπηρεσία Μετακίνησης Δεδομένων (DMS), μια εσωτερική υπηρεσία σε επίπεδο συστήματος, μετακινεί δεδομένα μεταξύ κόμβων για να επιτρέπει παράλληλες αναζητήσεις και επιστρέφει ακριβή αποτελέσματα.
Το Synapse SQL χρησιμοποιεί το Azure Storage για την ασφάλεια των δεδομένων χρήστη. Το Azure Storage αποθηκεύει και διαχειρίζεται τα δεδομένα σας. Υπάρχει ξεχωριστή χρέωση για τη χρήση του αποθηκευτικού χώρου.
Χαρακτηριστικά του Azure Synapse Dedicated SQL Pools
Ακολουθούν τα κορυφαία χαρακτηριστικά του Azure Synapse SQL Pool:
- Μπορείτε να ρωτήσετε για τα δεδομένα σε διάφορες μορφές, όπως Parquet, JSON και CSV στη λίμνη δεδομένων.
- Οι χρήστες μπορούν να δουν τα πιο πρόσφατα δεδομένα χρησιμοποιώντας μια σχεσιακή αφαίρεση.
- Η T-SQL σάς επιτρέπει να μετασχηματίζετε τα δεδομένα στη λίμνη με απλό, κλιμακωτό τρόπο
- Οι επιστήμονες δεδομένων μπορούν να εξετάσουν γρήγορα τη δομή και το περιεχόμενο των δεδομένων της λίμνης χρησιμοποιώντας το OPENROWSET ή τις αυτόματες λειτουργίες συμπερασμάτων σχήματος.
- Οι μηχανικοί δεδομένων μπορούν να χρησιμοποιήσουν την πισίνα για να εξερευνήσουν τη λίμνη και να μεταμορφώσουν, να δημιουργήσουν ή να απλοποιήσουν τους αγωγούς μετασχηματισμού δεδομένων τους.
- Οι αναλυτές δεδομένων μπορούν να έχουν πρόσβαση στα δεδομένα και να πυροδοτήσουν εξωτερικούς πίνακες μέσω της γλώσσας T-SQL και άλλων οικείων εργαλείων. Αυτά τα εργαλεία μπορούν επίσης να συνδεθούν σε μια πισίνα SQL χωρίς διακομιστή.
- Δημιουργήστε άμεσα αναφορές BI από επαγγελματίες επιχειρηματικής ευφυΐας πάνω από πίνακες Spark ή λίμνη δεδομένων.
Dedicated SQL Pool Vs. SQL Pool χωρίς διακομιστή
SQL Pool χωρίς διακομιστή
Οι χώροι εργασίας του Azure Synapse διαθέτουν μια πισίνα SQL χωρίς διακομιστή που λειτουργεί ως υπηρεσία ερωτημάτων σε λίμνες δεδομένων. Δεν απαιτεί πρόσθετες ρυθμίσεις για την πρόσβαση στα δεδομένα. Είναι εντελώς χωρίς διακομιστή και δεν απαιτεί υποδομή για εγκατάσταση ή συντήρηση.
Η κλιμάκωση μπορεί να γίνει αυτόματα για την κάλυψη των απαιτήσεων πόρων. Ο χρήστης πληρώνει μόνο για τα δεδομένα που επεξεργάζονται και όχι για τυχόν δεσμευμένους πόρους. Η ομάδα SQL χωρίς διακομιστή δημιουργεί επίσης στατιστικά στοιχεία για τη βελτιστοποίηση των εκτελέσεων ερωτημάτων.
Για παράδειγμα, όταν εκτελούμε ένα ερώτημα δύο φορές ή εκτελούμε δύο ερωτήματα με παρόμοια σχέδια εκτέλεσης, αυτά τα στατιστικά στοιχεία μπορούν να επαναχρησιμοποιηθούν.
Αυτά τα χαρακτηριστικά μας επιτρέπουν να αναλύουμε γρήγορα μεγάλες ποσότητες δεδομένων χωρίς να τα αντιγράψουμε ή να τα φορτώσουμε σε ένα συγκεκριμένο κατάστημα.
Αποκλειστική πισίνα SQL
Το αποκλειστικό SQL Pool του Synapse είναι ο διάδοχος του Azure SQL Data Warehouse και προσφέρει όλες τις λειτουργίες αποθήκευσης δεδομένων για επιχειρήσεις. Ωστόσο, δεν υπάρχει πισίνα SQL χωρίς διακομιστή. Αντίθετα, οι χρήστες πρέπει να δημιουργήσουν και να διαγράψουν την ειδική ομάδα SQL του Synapse. Μπορούμε επίσης να επιλέξουμε τους πόρους που θα χρησιμοποιήσει.
Αυτοί οι πόροι μετρώνται χρησιμοποιώντας τις ειδικές ομάδες SQL του Synapse. Ονομάζονται μονάδες αποθήκευσης δεδομένων (DWUs). Το DWU αναφέρεται σε συνδυασμό πόρων CPU, μνήμης και IO.
Ο αριθμός των DWU καθορίζει την απόδοση και το κόστος της πισίνας. Αντί να χρεωνόμαστε ανά ερώτημα, θα χρεωνόμαστε για οποιαδήποτε στιγμή η πισίνα είναι ενεργή, ανεξάρτητα από το πόση δουλειά έχει κάνει.
Για να αποφευχθεί το επιπλέον κόστος, οι αποκλειστικές πισίνες μπορούν να διακοπούν και να επανεκκινηθούν. Δημιουργήσαμε μια ειδική πισίνα SQL 100 DWU για τη δοκιμή μας.
Αφού δημιουργηθεί το pool, τα δεδομένα μπορούν να φορτωθούν σε αυτό χρησιμοποιώντας την εντολή COPY, PolyBase με ερωτήματα T–SQL ή μια διοχέτευση. Αυτά τα δεδομένα θα αποθηκευτούν σε στήλη αποθήκευσης σε σχεσιακούς πίνακες.
Αφιερωμένο SQL PoolServerless SQL PoolΑυτό σας επιτρέπει να υποβάλετε ερωτήματα στη λίμνη δεδομένων και να τα απορροφήσετε. Οι χρήστες μπορούν να υποβάλουν ερωτήματα στα αρχεία λίμνης δεδομένων. Απαιτείται υποδομή. Δεν είναι απαραίτητο να δημιουργήσετε υποδομές ή να διατηρήσετε συμπλέγματα. Προτού πραγματοποιήσετε οποιαδήποτε λειτουργία, είναι απαραίτητο να αποκτήσετε αποκλειστικοί διακομιστές. Δεν απαιτείται υποδομή για μετασχηματισμό ή εξερεύνηση δεδομένων. Οι συσχετιστικοί πίνακες χρησιμοποιούνται για την αποθήκευση δεδομένων. Το Data Lake αποθηκεύει δεδομένα. Μπορείτε να διαχειριστείτε το κόστος διακόπτοντας τη συγκέντρωση SQL και μειώνοντας την αποθήκη. Το κόστος χειρίζεται αυτόματα και τιμολογείται σύμφωνα με βάση πληρωμής ανά αίτημα. Οι δεσμευμένοι πόροι υπόκεινται σε κόστος. Το κόστος επεξεργασίας δεδομένων ανά ερώτημα χρεώνεται. Πληρωμή ανά παρεχόμενη DWU. Πληρωμή ανά TB Επεξεργασμένη.
συμπέρασμα
Λοιπόν, αυτό αφορούσε το Azure SQL Data Warehouse (τώρα ονομάζεται Azure Synapse Dedicated SQL Pool). Ενώ ένα Dedicated SQL Pool μπορεί να μοιάζει με έναν παραδοσιακό SQL Server από πολλές οπτικές γωνίες, η υποκείμενη αρχιτεκτονική (Massively Parallel Processing) είναι εντελώς διαφορετική. Αυτό σημαίνει ότι ορισμένες έννοιες και τεχνικές ισχύουν μόνο σε ένα Dedicated SQL Pool.
Μπορείτε επίσης να εξερευνήσετε τις διαφορές μεταξύ Data Lake και Data Warehouse.