Μια αλλαγή παραδείγματος στην τεχνητή νοημοσύνη και τη μηχανική μάθηση

Το Federated αντιπροσωπεύει ένα διάλειμμα από τον παραδοσιακό τρόπο συλλογής δεδομένων και εκπαίδευσης μοντέλων μηχανικής εκμάθησης.

Με την ομοσπονδιακή μάθηση, η ανάπτυξη μηχανικής μάθησης επωφελείται από φθηνότερη εκπαίδευση που σέβεται το απόρρητο των δεδομένων. Αυτό το άρθρο καθοδηγεί τι είναι η ομοσπονδιακή μάθηση, πώς λειτουργεί, εφαρμογές και πλαίσια.

Τι είναι η Ομοσπονδιακή Μάθηση;

Πηγή: Βικιπαίδεια

Η Ομοσπονδιακή Μάθηση είναι μια αλλαγή στον τρόπο με τον οποίο εκπαιδεύονται τα μοντέλα μηχανικής μάθησης. Στα περισσότερα μοντέλα μηχανικής μάθησης, τα δεδομένα συγκεντρώνονται σε ένα κεντρικό αποθετήριο από πολλούς πελάτες. Από αυτό το κεντρικό αποθετήριο, εκπαιδεύονται μοντέλα μηχανικής μάθησης και στη συνέχεια χρησιμοποιούνται για να κάνουν προβλέψεις. Η Ομοσπονδιακή Μάθηση κάνει το αντίθετο. Αντί να στέλνουν δεδομένα σε ένα κεντρικό αποθετήριο, οι πελάτες εκπαιδεύουν μοντέλα στα δεδομένα τους. Αυτό τους βοηθά να διατηρήσουν τα προσωπικά τους δεδομένα ιδιωτικά.

Διαβάστε επίσης: Επεξήγηση κορυφαίων μοντέλων μηχανικής μάθησης

Πώς λειτουργεί η Ομοσπονδιακή Μάθηση;

Η μάθηση στην Ομοσπονδιακή Μάθηση περιλαμβάνει μια σειρά ατομικών βημάτων που παράγουν ένα μοντέλο. Αυτά τα βήματα ονομάζονται κύκλοι εκμάθησης. Μια τυπική εγκατάσταση εκμάθησης επαναλαμβάνεται σε αυτούς τους γύρους, βελτιώνοντας το μοντέλο σε κάθε βήμα. Κάθε γύρος μάθησης περιλαμβάνει τα ακόλουθα βήματα.

Ένας Τυπικός Γύρος Μάθησης

Πρώτον, ο διακομιστής επιλέγει το μοντέλο που θα εκπαιδεύσει και υπερπαραμέτρους όπως ο αριθμός των γύρων, οι κόμβοι πελάτη που θα χρησιμοποιηθούν και το κλάσμα των κόμβων που χρησιμοποιούνται σε κάθε κόμβο. Σε αυτό το σημείο, το μοντέλο αρχικοποιείται επίσης με τις αρχικές παραμέτρους για να σχηματιστεί το βασικό μοντέλο.

Στη συνέχεια, οι πελάτες λαμβάνουν αντίγραφα ενός βασικού μοντέλου για εκπαίδευση. Αυτοί οι πελάτες θα μπορούσαν να είναι κινητές συσκευές, προσωπικοί υπολογιστές ή διακομιστές. Εκπαιδεύουν το μοντέλο στα τοπικά τους δεδομένα, αποφεύγοντας έτσι την κοινή χρήση ευαίσθητων δεδομένων με τους διακομιστές.

Μόλις οι πελάτες έχουν εκπαιδεύσει το μοντέλο στα τοπικά τους δεδομένα, το στέλνουν πίσω στον διακομιστή ως ενημέρωση. Όταν λαμβάνεται από τον διακομιστή, η ενημέρωση υπολογίζεται κατά μέσο όρο μαζί με ενημερώσεις από άλλους πελάτες για τη δημιουργία ενός νέου βασικού μοντέλου. Επειδή οι πελάτες μπορεί να είναι αναξιόπιστοι, σε αυτό το σημείο, ορισμένοι πελάτες ενδέχεται να μην στέλνουν τις ενημερώσεις τους. Σε αυτό το σημείο, ο διακομιστής θα χειριστεί όλα τα σφάλματα.

Για να μπορέσει να αναπτυχθεί εκ νέου το βασικό μοντέλο, πρέπει να δοκιμαστεί. Ωστόσο, ο διακομιστής δεν αποθηκεύει δεδομένα. Επομένως, για να δοκιμαστεί το μοντέλο, αποστέλλεται πίσω στους πελάτες, όπου δοκιμάζεται σε σχέση με τα τοπικά τους δεδομένα. Εάν είναι καλύτερο από το προηγούμενο βασικό μοντέλο, υιοθετείται και χρησιμοποιείται αντ’ αυτού.

Εδώ είναι ένα χρήσιμος οδηγός σχετικά με το πώς λειτουργεί η ομοσπονδιακή μάθηση από την ομάδα Federated Learning στο Google AI.

Συγκεντρωτικά εναντίον Ομοσπονδιακών εναντίον Ετερογενών

Σε αυτή τη ρύθμιση, υπάρχει ένας κεντρικός διακομιστής υπεύθυνος για τον έλεγχο της μάθησης. Αυτός ο τύπος εγκατάστασης είναι γνωστός ως Κεντρική Ομοσπονδιακή Μάθηση.

Το αντίθετο της Κεντρικής Μάθησης θα ήταν η Αποκεντρωμένη Ομοσπονδιακή Μάθηση, στην οποία οι πελάτες συντονίζονται μεταξύ τους.

Η άλλη ρύθμιση ονομάζεται Ετερογενής Μάθηση. Σε αυτήν τη ρύθμιση, οι πελάτες δεν έχουν απαραίτητα την ίδια παγκόσμια αρχιτεκτονική μοντέλου.

Πλεονεκτήματα της Ομοσπονδιακής Μάθησης

• Το μεγαλύτερο πλεονέκτημα της χρήσης της ομοσπονδιακής μάθησης είναι ότι βοηθά στη διατήρηση ιδιωτικών δεδομένων. Οι πελάτες μοιράζονται τα αποτελέσματα της εκπαίδευσης, όχι τα δεδομένα που χρησιμοποιούνται στην εκπαίδευση. Μπορούν επίσης να τεθούν σε εφαρμογή πρωτόκολλα για τη συγκέντρωση αποτελεσμάτων, ώστε να μην μπορούν να συνδεθούν με έναν συγκεκριμένο πελάτη.
• Μειώνει επίσης το εύρος ζώνης του δικτύου καθώς δεν μοιράζονται δεδομένα μεταξύ του πελάτη και του διακομιστή. Αντίθετα, τα μοντέλα ανταλλάσσονται μεταξύ του πελάτη και του διακομιστή.
• Μειώνει επίσης το κόστος των μοντέλων εκπαίδευσης, καθώς δεν χρειάζεται να αγοράσετε ακριβό υλικό εκπαίδευσης. Αντίθετα, οι προγραμματιστές χρησιμοποιούν το υλικό του πελάτη για να εκπαιδεύσουν μοντέλα. Λόγω των μικρών δεδομένων που εμπλέκονται, δεν καταπονεί τη συσκευή του πελάτη.

Μειονεκτήματα της Ομοσπονδιακής Μάθησης

• Αυτό το μοντέλο εξαρτάται από τη συμμετοχή πολλών διαφορετικών κόμβων. Ορισμένα από τα οποία δεν ελέγχονται από τον προγραμματιστή. Επομένως, η διαθεσιμότητά τους δεν είναι εγγυημένη. Αυτό καθιστά το υλικό εκπαίδευσης αναξιόπιστο.
• Οι πελάτες στους οποίους εκπαιδεύονται τα μοντέλα δεν είναι ακριβώς ισχυρές GPU. Αντίθετα, είναι κανονικές συσκευές όπως τα τηλέφωνα. Αυτές οι συσκευές, ακόμη και συνολικά, ενδέχεται να μην είναι αρκετά ισχυρές σε σύγκριση με τα συμπλέγματα GPU.
• Η ομοσπονδιακή μάθηση προϋποθέτει επίσης ότι όλοι οι κόμβοι πελάτη είναι αξιόπιστοι και λειτουργούν για το κοινό καλό. Ωστόσο, ορισμένοι μπορεί να μην είναι και ενδέχεται να εκδώσουν κακές ενημερώσεις για να προκαλέσουν μετατόπιση μοντέλου.

Εφαρμογές Ομοσπονδιακής Μάθησης

Η Ομοσπονδιακή Μάθηση επιτρέπει τη μάθηση διατηρώντας παράλληλα το απόρρητο. Αυτό είναι χρήσιμο σε πολλές περιπτώσεις, όπως:

• Προβλέψεις επόμενης λέξης σε πληκτρολόγια smartphone.
• Συσκευές IoT που μπορούν να εκπαιδεύσουν μοντέλα τοπικά στις συγκεκριμένες απαιτήσεις της κατάστασης στην οποία βρίσκονται.
• Βιομηχανίες φαρμακευτικών προϊόντων και υγειονομικής περίθαλψης.
• Οι αμυντικές βιομηχανίες θα επωφεληθούν επίσης από μοντέλα εκπαίδευσης χωρίς να μοιράζονται ευαίσθητα δεδομένα.

Πλαίσια για Ομοσπονδιακή Μάθηση

Υπάρχουν πολλά πλαίσια για την εφαρμογή προτύπων Ομοσπονδιακής Μάθησης. Μερικά από τα καλύτερα περιλαμβάνουν τα NVFlare, FATE, Flower και PySft. Διαβάστε αυτόν τον οδηγό για μια λεπτομερή σύγκριση των διαφορετικών πλαισίων που μπορείτε να χρησιμοποιήσετε.

συμπέρασμα

Αυτό το άρθρο ήταν μια εισαγωγή στην Ομοσπονδιακή Μάθηση, τον τρόπο λειτουργίας της, καθώς και τα πλεονεκτήματα και τα μειονεκτήματα της εφαρμογής της. Επιπλέον, κάλυψα επίσης τις δημοφιλείς εφαρμογές και πλαίσια που χρησιμοποιούνται για την εφαρμογή της Ομοσπονδιακής Μάθησης στην παραγωγή.

Στη συνέχεια, διαβάστε ένα άρθρο σχετικά με τις καλύτερες πλατφόρμες MLOps για να εκπαιδεύσετε τα μοντέλα Μηχανικής Εκμάθησης.