Το Apache Kafka είναι μια υπηρεσία ροής μηνυμάτων που επιτρέπει σε διαφορετικές εφαρμογές σε ένα κατανεμημένο σύστημα να επικοινωνούν και να μοιράζονται δεδομένα μέσω μηνυμάτων.
Λειτουργεί ως παμπ/υποσύστημα όπου οι εφαρμογές παραγωγών δημοσιεύουν μηνύματα και τα καταναλωτικά συστήματα εγγράφονται σε αυτά.
Το Apache Kafka σάς δίνει τη δυνατότητα να υιοθετήσετε μια χαλαρά συνδεδεμένη αρχιτεκτονική μεταξύ των τμημάτων του συστήματός σας που παράγουν και καταναλώνουν δεδομένα. Αυτό καθιστά τον σχεδιασμό και τη διαχείριση του συστήματος απλούστερη. Ο Κάφκα βασίζεται στο Zookeeper για διαχείριση μεταδεδομένων και συγχρονισμό διαφορετικών στοιχείων του συμπλέγματος.
Πίνακας περιεχομένων
Χαρακτηριστικά του Απάτσι Κάφκα
Ο Απάτσι Κάφκα έχει γίνει δημοφιλής, μεταξύ άλλων λόγων
- Δυνατότητα κλιμάκωσης μέσω συμπλεγμάτων και κατατμήσεων
- Γρήγορη ικανή να εκτελεί 2 εκατομμύρια εγγραφές ανά δευτερόλεπτο
- Διατηρεί τη σειρά με την οποία αποστέλλονται τα μηνύματα
- Αξιόπιστο μέσω του συστήματος αντιγράφων του
- Μπορεί να αναβαθμιστεί με μηδενικό χρόνο διακοπής λειτουργίας
Τώρα, ας εξερευνήσουμε μερικές από τις συνήθεις περιπτώσεις χρήσης του Κάφκα.
Κοινές περιπτώσεις χρήσης του Απάτσι Κάφκα
Το Kafka χρησιμοποιείται συχνά για την επεξεργασία μεγάλων δεδομένων, την εγγραφή και τη συγκέντρωση γεγονότων, όπως τα κλικ κουμπιών για αναλυτικά στοιχεία και τον συνδυασμό αρχείων καταγραφής από διαφορετικά μέρη ενός συστήματος σε μια κεντρική τοποθεσία.
Βοηθά στην επικοινωνία μεταξύ διαφορετικών εφαρμογών σε ένα σύστημα και την επεξεργασία δεδομένων σε πραγματικό χρόνο από συσκευές IoT.
Τώρα, ας δούμε τα λεπτομερή βήματα για την εγκατάσταση του Kafka σε Windows και Linux.
Εγκατάσταση του Kafka στα Windows
Πρώτα, ελέγξτε εάν η Java είναι εγκατεστημένη στον υπολογιστή σας για να εγκαταστήσετε το Apache Kafka στα Windows. Ανοίξτε τη γραμμή εντολών στη λειτουργία διαχειριστή και πληκτρολογήστε την εντολή:
java --version
Εάν είναι εγκατεστημένη η Java, θα πρέπει να λάβετε τον αριθμό έκδοσης JDK που είναι εγκατεστημένο αυτήν τη στιγμή.
Εάν λάβετε ένα μήνυμα σφάλματος που λέει ότι η εντολή δεν αναγνωρίστηκε, η Java δεν εγκαταστάθηκε και πρέπει να εγκαταστήσετε την Java. Για να εγκαταστήσετε την Java, μεταβείτε στο Adoptium.net και κάντε κλικ στο κουμπί λήψης.
Αυτό θα πρέπει να κατεβάσει το αρχείο εγκατάστασης Java. Όταν ολοκληρωθεί η λήψη, εκτελέστε το πρόγραμμα εγκατάστασης. Αυτό θα πρέπει να ανοίξει τη γραμμή εντολών εγκατάστασης.
Πατήστε επανειλημμένα Επόμενο για να επιλέξετε τις προεπιλεγμένες επιλογές. Τότε θα πρέπει να ξεκινήσει η εγκατάσταση. Επαληθεύστε την εγκατάσταση κλείνοντας τη γραμμή εντολών, ανοίγοντας ξανά μια άλλη γραμμή εντολών στη λειτουργία διαχειριστή και εισάγοντας την εντολή:
java --version
Αυτή τη φορά, θα πρέπει να λάβετε την έκδοση JDK που μόλις εγκαταστήσατε. Αφού ολοκληρωθεί η εγκατάσταση, μπορούμε να ξεκινήσουμε την εγκατάσταση του Kafka.
Για να εγκαταστήσετε το Kafka, μεταβείτε πρώτα στον ιστότοπο του Kafka.
Κάντε κλικ στον σύνδεσμο και θα σας μεταφέρει στη σελίδα Λήψεις. Κατεβάστε τα πιο πρόσφατα διαθέσιμα δυαδικά αρχεία.
Αυτό θα κατεβάσει σενάρια και δυαδικά αρχεία Kafka συσκευασμένα σε αρχείο .tgz. Μετά τη λήψη, πρέπει να εξαγάγετε τα αρχεία από το αρχείο .tgz. Για την εξαγωγή, θα χρησιμοποιήσω το WinZip, το οποίο μπορεί να ληφθεί από τον ιστότοπο του WinZip.
Μετά την εξαγωγή του αρχείου, μετακινήστε το στο C: έτσι ώστε η διαδρομή του αρχείου να γίνει C:kafka
Στη συνέχεια, ανοίξτε τη γραμμή εντολών στη λειτουργία διαχειριστή και ξεκινήστε το Zookeeper μεταβαίνοντας πρώτα στον κατάλογο Kafka. Και εκτέλεση του αρχείου zookeeper-server-start.bat με το zookeeper.properties ως αρχείο διαμόρφωσης
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Με το Zookeeper σε λειτουργία, πρέπει να προσθέσουμε το εκτελέσιμο αρχείο wmic που χρησιμοποιεί ο Kafka στο PATH του συστήματός μας,
set PATH=C:WindowsSystem32wbem;%PATH%;
Μετά από αυτό, ξεκινήστε τον διακομιστή Apache Kafka ανοίγοντας μια άλλη περίοδο λειτουργίας γραμμής εντολών σε λειτουργία διαχειριστή και μεταβαίνοντας στο φάκελο C:kafka
cd C:kafka
Μετά ξεκινήστε τον Κάφκα τρέχοντας
binwindowskafka-server-start.bat configserver.properties
Με αυτό, ο Κάφκα θα έπρεπε να τρέχει. Μπορείτε να προσαρμόσετε τις ιδιότητες διακομιστή, όπως το σημείο εγγραφής των αρχείων καταγραφής στο αρχείο server.properties.
Εγκατάσταση του Kafka σε Linux
Αρχικά, βεβαιωθείτε ότι το σύστημά σας είναι ενημερωμένο ενημερώνοντας όλα τα πακέτα
sudo apt update && sudo apt upgrade
Στη συνέχεια, ελέγξτε εάν η Java είναι εγκατεστημένη στον υπολογιστή σας εκτελώντας
java --version
Εάν είναι εγκατεστημένη η java, θα δείτε τον αριθμό έκδοσης. Ωστόσο, εάν δεν είναι, μπορείτε να το εγκαταστήσετε χρησιμοποιώντας το apt.
sudo apt install default-jdk
Μετά από αυτό, μπορούμε να εγκαταστήσουμε το Apache Kafka κατεβάζοντας τα δυαδικά αρχεία από τον ιστότοπο.
Ανοίξτε το τερματικό σας και μεταβείτε στο φάκελο όπου αποθηκεύτηκε η λήψη. Στην περίπτωσή μου, πρέπει να πλοηγηθώ στον φάκελο Λήψεις.
cd Downloads
Μόλις εισέλθετε στο φάκελο λήψεων, εξαγάγετε τα ληφθέντα αρχεία χρησιμοποιώντας το tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Μεταβείτε στον φάκελο που έχει εξαχθεί
cd kafka_2.13-3.3.1.tgz
Καταχωρίστε τους καταλόγους και τα αρχεία.
Μόλις μπείτε στο φάκελο, ξεκινήστε έναν διακομιστή Zookeeper εκτελώντας τη δέσμη ενεργειών zookeeper-server-start.sh που βρίσκεται στον κατάλογο bin του φακέλου που έχει εξαχθεί.
Το σενάριο θα απαιτήσει ένα αρχείο διαμόρφωσης Zookeeper. Το προεπιλεγμένο αρχείο ονομάζεται zookeeper.properties και βρίσκεται στον υποκατάλογο config.
Για να ξεκινήσετε λοιπόν τον διακομιστή, χρησιμοποιήστε την εντολή:
bin/zookeeper-server-start.sh config/zookeeper.properties
Με το Zookeeper σε λειτουργία, μπορούμε να ξεκινήσουμε τον διακομιστή Apache Kafka. Το σενάριο kafka-server-start.sh βρίσκεται επίσης στον κατάλογο bin. Η εντολή αναμένει επίσης ένα αρχείο διαμόρφωσης. Το προεπιλεγμένο είναι το server.properties που είναι αποθηκευμένο στο αρχείο διαμόρφωσης.
bin/kafka-server-start.sh config/server.properties
Αυτό θα πρέπει να ενεργοποιήσει τον Apache Kafka. Μέσα στον κατάλογο κάδου, θα βρείτε πολλά σενάρια για να κάνετε πράγματα όπως δημιουργία θεμάτων, διαχείριση παραγωγών και διαχείριση καταναλωτών. Μπορείτε επίσης να προσαρμόσετε τις ιδιότητες διακομιστή στο αρχείο server.properties.
Τελικές Λέξεις
Σε αυτόν τον οδηγό, εξετάσαμε τον τρόπο εγκατάστασης Java και Apache Kafka. Ενώ μπορείτε να εγκαταστήσετε και να διαχειριστείτε τα συμπλέγματα Kafka με μη αυτόματο τρόπο, μπορείτε επίσης να χρησιμοποιήσετε διαχειριζόμενες επιλογές όπως το Amazon Web Services και το Confluent.
Στη συνέχεια, μπορείτε να μάθετε την επεξεργασία δεδομένων με το Kafka και το Spark.