Τι είναι το Zero Shot Learning και πώς μπορεί να βελτιώσει την τεχνητή νοημοσύνη

Βασικά Takeaways

• Η γενίκευση είναι απαραίτητη στη βαθιά μάθηση για να διασφαλιστούν ακριβείς προβλέψεις με νέα δεδομένα. Η εκμάθηση μηδενικής λήψης βοηθά στην επίτευξη αυτού του στόχου, επιτρέποντας στην τεχνητή νοημοσύνη να χρησιμοποιήσει την υπάρχουσα γνώση για να κάνει ακριβείς προβλέψεις σε νέες ή μη ορατές τάξεις χωρίς δεδομένα με ετικέτα.
• Η μάθηση μηδενικής λήψης μιμείται τον τρόπο με τον οποίο οι άνθρωποι μαθαίνουν και επεξεργάζονται δεδομένα. Παρέχοντας πρόσθετες σημασιολογικές πληροφορίες, ένα προ-εκπαιδευμένο μοντέλο μπορεί να αναγνωρίσει με ακρίβεια νέες κατηγορίες, όπως ένας άνθρωπος μπορεί να μάθει να αναγνωρίζει μια κιθάρα με κούφιο σώμα κατανοώντας τα χαρακτηριστικά της.
• Η μηδενική μάθηση βελτιώνει την τεχνητή νοημοσύνη βελτιώνοντας τη γενίκευση, την επεκτασιμότητα, τη μείωση της υπερπροσαρμογής και την οικονομική αποδοτικότητα. Επιτρέπει στα μοντέλα να εκπαιδεύονται σε μεγαλύτερα σύνολα δεδομένων, να αποκτούν περισσότερες γνώσεις μέσω της μάθησης μεταφοράς, να έχουν καλύτερη κατανόηση των συμφραζομένων και να μειώνουν την ανάγκη για εκτεταμένα δεδομένα με ετικέτα. Καθώς η τεχνητή νοημοσύνη προχωρά, η μάθηση με μηδενικό τρόπο θα γίνει ακόμη πιο σημαντική για την αντιμετώπιση σύνθετων προκλήσεων σε διάφορους τομείς.

Ένας από τους μεγαλύτερους στόχους της βαθιάς μάθησης είναι η εκπαίδευση μοντέλων που έχουν αποκτήσει γενικευμένη γνώση. Η γενίκευση είναι απαραίτητη γιατί διασφαλίζει ότι το μοντέλο έχει μάθει σημαντικά μοτίβα και μπορεί να κάνει ακριβείς προβλέψεις ή αποφάσεις όταν αντιμετωπίζει νέα ή αόρατα δεδομένα. Η εκπαίδευση τέτοιων μοντέλων απαιτεί συχνά σημαντικό όγκο δεδομένων με ετικέτα. Ωστόσο, τέτοια δεδομένα μπορεί να είναι δαπανηρά, εντάσεως εργασίας και μερικές φορές αδύνατα.

Η μάθηση μηδενικής βολής εφαρμόζεται για να γεφυρώσει αυτό το χάσμα, επιτρέποντας στην τεχνητή νοημοσύνη να χρησιμοποιήσει τις υπάρχουσες γνώσεις της για να κάνει αρκετά ακριβείς προβλέψεις παρά την έλλειψη δεδομένων με ετικέτα.

Τι είναι το Zero-Shot Learning;

Η μάθηση με μηδενική βολή είναι ένας συγκεκριμένος τύπος τεχνικής μάθησης μεταφοράς. Επικεντρώνεται στη χρήση ενός εκ των προτέρων εκπαιδευμένου μοντέλου για τον εντοπισμό νέων ή μη προηγουμένων τάξεων, απλώς παρέχοντας επιπλέον πληροφορίες που περιγράφουν τα στοιχεία της νέας κατηγορίας.

Χρησιμοποιώντας τις γενικές γνώσεις ενός μοντέλου για ορισμένα θέματα και δίνοντάς του επιπλέον σημασιολογία σχετικά με το τι πρέπει να αναζητήσει, θα πρέπει να είναι σε θέση να προσδιορίσει με μεγάλη ακρίβεια ποιο θέμα είναι επιφορτισμένο να προσδιορίσει.

Ας πούμε ότι πρέπει να αναγνωρίσουμε μια ζέβρα. Ωστόσο, δεν έχουμε μοντέλο που να μπορεί να αναγνωρίσει τέτοια ζώα. Έτσι, παίρνουμε ένα προϋπάρχον μοντέλο εκπαιδευμένο να αναγνωρίζει άλογα και να λέει στο μοντέλο ότι τα άλογα με ασπρόμαυρες ρίγες είναι ζέβρες. Όταν αρχίζουμε να συμπεραίνουμε το μοντέλο παρέχοντας εικόνες ζέβρες και αλόγων, υπάρχει μεγάλη πιθανότητα το μοντέλο να αναγνωρίσει σωστά κάθε ζώο.

Όπως πολλές τεχνικές βαθιάς μάθησης, η μάθηση μηδενικής λήψης μιμείται τον τρόπο με τον οποίο οι άνθρωποι μαθαίνουν και επεξεργάζονται δεδομένα. Οι άνθρωποι είναι γνωστό ότι είναι φυσικοί μαθητές μηδενικής βολής. Εάν σας ανατέθηκε να βρείτε μια κιθάρα με κούφιο σώμα σε ένα κατάστημα μουσικής, μπορεί να έχετε προβλήματα στην αναζήτηση μιας. Αλλά μόλις σας πω ότι ένα κοίλο σώμα είναι βασικά μια κιθάρα με μια τρύπα σε σχήμα f στη μία ή και στις δύο πλευρές, πιθανότατα θα τη βρείτε αμέσως.

Για ένα πραγματικό παράδειγμα, ας χρησιμοποιήσουμε την εφαρμογή ταξινόμησης zero-shot από τον ιστότοπο φιλοξενίας LLM ανοιχτού κώδικα Hugging Face χρησιμοποιώντας το μοντέλο clip-vit-large.

Αυτή η φωτογραφία απεικονίζει μια εικόνα ψωμιού σε μια τσάντα παντοπωλείου δεμένη σε ένα παιδικό καρεκλάκι. Δεδομένου ότι το μοντέλο εκπαιδεύτηκε σε ένα μεγάλο σύνολο δεδομένων εικόνων, το μοντέλο μπορεί πιθανότατα να αναγνωρίσει κάθε αντικείμενο στη φωτογραφία, όπως ψωμί, είδη παντοπωλείου, καρέκλες και ζώνες ασφαλείας.

Τώρα, θέλουμε το μοντέλο να ταξινομήσει την εικόνα χρησιμοποιώντας κλάσεις που δεν είχαν δει προηγουμένως. Σε αυτήν την περίπτωση, τα μυθιστορήματα ή οι απαρατήρητες τάξεις θα είναι «Χαλαρό ψωμί», «Ασφαλές ψωμί», «Καθιστό ψωμί», «Οδήγηση παντοπωλείο» και «Ασφαλές παντοπωλείο».

Λάβετε υπόψη ότι χρησιμοποιήσαμε σκόπιμα ασυνήθιστες κλάσεις και εικόνες που δεν εμφανίζονται για να δείξουμε την αποτελεσματικότητα της ταξινόμησης μηδενικής λήψης σε μια εικόνα.

Αφού συνήγαγε το μοντέλο, μπόρεσε να ταξινομήσει με βεβαιότητα περίπου 80% ότι η καταλληλότερη ταξινόμηση για την εικόνα ήταν το “Safe Bread”. Αυτό είναι πιθανό επειδή το μοντέλο πιστεύει ότι ένα παιδικό καρεκλάκι είναι περισσότερο για ασφάλεια από το να κάθεται, να χαλαρώνει ή να οδηγεί.

Φοβερός! Προσωπικά θα συμφωνήσω με την απόδοση του μοντέλου. Πώς ακριβώς όμως το μοντέλο κατέληξε σε τέτοια απόδοση; Ακολουθεί μια γενική άποψη για το πώς λειτουργεί η μηδενική μάθηση.

Πώς λειτουργεί το Zero-Shot Learning

Η μάθηση με μηδενική λήψη μπορεί να βοηθήσει ένα προεκπαιδευμένο μοντέλο να αναγνωρίσει νέες τάξεις χωρίς να παρέχει δεδομένα με ετικέτα. Στην απλούστερη μορφή της, η εκμάθηση μηδενικής βολής γίνεται σε τρία βήματα:

1. Προετοιμασία

Η εκμάθηση μηδενικής βολής ξεκινά με την προετοιμασία τριών τύπων δεδομένων

• Προβλεπόμενη τάξη: Δεδομένα που χρησιμοποιούνται για την εκπαίδευση του προεκπαιδευμένου μοντέλου. Το μοντέλο παρέχει ήδη προβλεπόμενες τάξεις. Τα καλύτερα μοντέλα για μηδενική μάθηση είναι μοντέλα που έχουν εκπαιδευτεί σε τάξεις που σχετίζονται στενά με τη νέα τάξη που θέλετε να αναγνωρίσει το μοντέλο.
• Unseen/Novel Class: Δεδομένα που δεν χρησιμοποιήθηκαν ποτέ κατά την εκπαίδευση του μοντέλου. Θα πρέπει να επιμεληθείτε αυτά τα δεδομένα μόνοι σας, καθώς δεν μπορείτε να τα λάβετε από το μοντέλο.
• Σημασιολογικά/Βοηθητικά Δεδομένα: Επιπλέον bits δεδομένων που μπορούν να βοηθήσουν το μοντέλο να αναγνωρίσει την νέα κλάση. Αυτό μπορεί να είναι σε λέξεις, φράσεις, ενσωματώσεις λέξεων ή ονόματα τάξεων.

2. Σημασιολογική Χαρτογράφηση

Το επόμενο βήμα είναι να χαρτογραφήσουμε τα χαρακτηριστικά της αόρατης τάξης. Αυτό γίνεται με τη δημιουργία ενσωματώσεων λέξεων και τη δημιουργία ενός σημασιολογικού χάρτη που συνδέει τα χαρακτηριστικά ή τα χαρακτηριστικά της αόρατης κλάσης με τα βοηθητικά δεδομένα που παρέχονται. Η εκμάθηση μεταφοράς AI κάνει τη διαδικασία πολύ πιο γρήγορη, καθώς πολλά χαρακτηριστικά που σχετίζονται με την αόρατη τάξη έχουν ήδη χαρτογραφηθεί.

3. Εξαγωγή συμπερασμάτων

Η εξαγωγή συμπερασμάτων είναι η χρήση του μοντέλου για τη δημιουργία προβλέψεων ή εξόδου. Στην ταξινόμηση εικόνων μηδενικής λήψης, δημιουργούνται ενσωματώσεις λέξεων στη δεδομένη είσοδο εικόνας και στη συνέχεια σχεδιάζονται και συγκρίνονται με τα βοηθητικά δεδομένα. Το επίπεδο βεβαιότητας θα εξαρτηθεί από την ομοιότητα μεταξύ της εισόδου και των βοηθητικών δεδομένων που παρέχονται.

Πώς το Zero-Shot Learning βελτιώνει την τεχνητή νοημοσύνη

Η μηδενική μάθηση βελτιώνει τα μοντέλα AI αντιμετωπίζοντας πολλές προκλήσεις στη μηχανική μάθηση, όπως:

• Βελτιωμένη γενίκευση: Η μείωση της εξάρτησης από δεδομένα με ετικέτα επιτρέπει στα μοντέλα να εκπαιδεύονται σε μεγαλύτερα σύνολα δεδομένων, βελτιώνοντας τη γενίκευση και καθιστώντας το μοντέλο πιο ισχυρό και αξιόπιστο. Καθώς τα μοντέλα γίνονται πιο έμπειρα και γενικευμένα, μπορεί ακόμη και να είναι δυνατό για τα μοντέλα να μάθουν την κοινή λογική αντί για τον τυπικό τρόπο ανάλυσης πληροφοριών.
• Επεκτασιμότητα: Τα μοντέλα μπορούν να εκπαιδεύονται συνεχώς και να αποκτούν περισσότερες γνώσεις μέσω της μάθησης μεταφοράς. Οι εταιρείες και οι ανεξάρτητοι ερευνητές μπορούν να βελτιώνουν συνεχώς τα μοντέλα τους για να είναι πιο ικανοί στο μέλλον.
• Μειωμένη πιθανότητα υπερπροσαρμογής: Η υπερπροσαρμογή μπορεί να συμβεί λόγω του ότι το μοντέλο εκπαιδεύεται σε ένα μικρό σύνολο δεδομένων που δεν περιέχει αρκετή ποικιλία για να αντιπροσωπεύει όλες τις πιθανές εισροές. Η εκπαίδευση του μοντέλου μέσω της μηδενικής μάθησης μειώνει τις πιθανότητες υπερπροσαρμογής εκπαιδεύοντας το μοντέλο ώστε να έχει καλύτερη κατανόηση των θεμάτων με βάση τα συμφραζόμενα.
• Οικονομική: Η παροχή μεγάλου όγκου δεδομένων με ετικέτα μπορεί να απαιτεί χρόνο και πόρους. Χρησιμοποιώντας τη μάθηση μηδενικής μεταφοράς, η εκπαίδευση ενός ισχυρού μοντέλου μπορεί να γίνει με πολύ λιγότερο χρόνο και δεδομένα με ετικέτα.

Καθώς η τεχνητή νοημοσύνη προχωρά, τεχνικές όπως η μηδενική μάθηση θα γίνονται ακόμη πιο σημαντικές.

The Future of Zero-Shot Learning

Η μηδενική μάθηση έχει γίνει βασικό μέρος της μηχανικής μάθησης. Επιτρέπει στα μοντέλα να αναγνωρίζουν και να ταξινομούν νέες κατηγορίες χωρίς ρητή εκπαίδευση. Με τη συνεχή πρόοδο στις αρχιτεκτονικές μοντέλων, τις προσεγγίσεις που βασίζονται σε χαρακτηριστικά και την πολυτροπική ολοκλήρωση, η μάθηση μηδενικής λήψης μπορεί να βοηθήσει σημαντικά να γίνουν τα μοντέλα πολύ πιο προσαρμοστικά στην αντιμετώπιση σύνθετων προκλήσεων στη ρομποτική, την υγειονομική περίθαλψη και την όραση υπολογιστών.