Με πολλά chatbot που είναι διαθέσιμα στο διαδίκτυο, μπορεί να γίνει εξαιρετικά δύσκολο να επιλέξετε αυτό που καλύπτει τις ανάγκες σας. Αν και μπορείτε να συγκρίνετε οποιαδήποτε δύο chatbot με μη αυτόματο τρόπο, θα χρειαστεί πολύς χρόνος και προσπάθεια.
Ένας καλύτερος και απλούστερος τρόπος είναι να χρησιμοποιήσετε το Chatbot Arena για να συγκρίνετε τα διαφορετικά LLM που τροφοδοτούν τα δημοφιλή chatbot. Προσφέρει μερικές λειτουργίες για σύγκριση των διαφόρων μοντέλων, τις οποίες εξηγούμε παρακάτω.
Πίνακας περιεχομένων
Τι είναι το Chatbot Arena;
Δημιουργήθηκε από την LMSYS Org, το Chatbot Arena είναι μια πλατφόρμα για τη συγκριτική αξιολόγηση διαφόρων LLMs. Χρησιμοποιεί το σύστημα Elo Rating για να ταξινομήσει τα διάφορα μοντέλα.
Το Chatbot Arena προσφέρει μερικούς τρόπους στους χρήστες να συγκρίνουν και να βαθμολογούν τα LLM. Με βάση τα σχόλια που υποβλήθηκαν, το Chatbot Arena κατατάσσει τους διαφορετικούς LLMs στο δημόσιο leaderboard. Το έργο χρηματοδοτείται από το HuggingFace, μια εναλλακτική λύση ανοιχτού κώδικα στο ChatGPT.
Πώς να συγκρίνετε ανώνυμα LLM με το Chatbot Arena
Η λειτουργία μάχης του Chatbot Arena σάς επιτρέπει να συγκρίνετε τα LLM ανώνυμα. Για παράδειγμα, μπορείτε να συγκρίνετε το ChatGPT (GPT 3.5) και τον Claude. Αυτό σημαίνει ότι το ίδιο το Chatbot Arena επιλέγει οποιαδήποτε μοντέλα δύο γλωσσών και, χωρίς να αποκαλύψει τα ονόματά τους, σας επιτρέπει να τα συγκρίνετε.
Καθώς εισάγετε την πρώτη προτροπή, το Chatbot Arena ανακτά απαντήσεις και από τα δύο μοντέλα, παρουσιάζοντάς τα δίπλα-δίπλα. Η πλατφόρμα σάς επιτρέπει να αναπαράγετε απαντήσεις (και για τα δύο LLM) και να διαγράψετε το ιστορικό για να ξεκινήσετε μια διαφορετική συνομιλία. Μπορείτε να συνεχίσετε να κάνετε περισσότερες ερωτήσεις μέχρι να επιλέξετε έναν ξεκάθαρο νικητή.
Στη συνέχεια, μπορείτε να επιλέξετε εάν το μοντέλο Α είναι καλύτερο ή το Β. Κατά την επιλογή του νικητή, το Chatbot Arena αποκαλύπτει τα ονόματα και των δύο ρομπότ. Αυτή η λειτουργία λειτουργεί εξαιρετικά, καθώς η απόφασή σας δεν επηρεάζεται από την προηγούμενη αντίληψη ή τη δημοτικότητά σας για τα μοντέλα. Το Chatbot Arena σάς επιτρέπει επίσης να προσαρμόζετε παραμέτρους όπως η θερμοκρασία, το Top P και τα διακριτικά μέγιστης εξόδου.
Πώς να συγκρίνετε επιλεγμένα LLM με το Chatbot Arena
Εάν θέλετε να συγκρίνετε δύο συγκεκριμένα LLM, μπορείτε να μεταβείτε στη λειτουργία side-by-side του Chatbot Arena. Εκτός από το γεγονός ότι μπορείτε να επιλέξετε τα LLM μόνοι σας, αυτή η λειτουργία λειτουργεί σχεδόν το ίδιο με τη λειτουργία μάχης. Μπορείτε να προσαρμόσετε τις παραμέτρους, να δημιουργήσετε ξανά απαντήσεις, να διαγράψετε το ιστορικό και να επιλέξετε έναν νικητή στο τέλος.
Ωστόσο, ο αριθμός των διαθέσιμων LLM σε αυτήν τη λειτουργία είναι περιορισμένος. Μπορείτε να επιλέξετε διαφορετικές εκδόσεις των Llama 2, Vicuna και ChatGLM. Αν και τα δημοφιλή LLM, όπως τα GPT-4, GPT-3.5, Claude 1, Claude 2, κ.λπ., δεν είναι προς το παρόν διαθέσιμα σε αυτήν τη λειτουργία, το Chatbot Arena σκοπεύει να τα προσθέσει.
Συγκρίνετε LLMs χρησιμοποιώντας Chatbot Arena
Είτε ψάχνετε να βρείτε ένα κατάλληλο chatbot για τις ανάγκες σας είτε απλά θέλετε να δοκιμάσετε διαφορετικά LLM, το Chatbot Arena είναι μια εξαιρετική πλατφόρμα.
Παρέχει έναν απλοποιημένο τρόπο σύγκρισης διαφορετικών μοντέλων γλώσσας δίπλα-δίπλα. Και δεδομένου ότι διατηρεί έναν πίνακα κατάταξης με βάση τα σχόλια των χρηστών, μπορείτε να δείτε απευθείας τις βαθμολογίες διαφόρων μοντέλων χωρίς να εκτελέσετε μόνοι σας τις δοκιμές.