Πώς να χρησιμοποιήσετε το Proxy με cURL και wget;

Έχετε κουραστεί να σας εμποδίζουν να αποκτήσετε πρόσβαση σε συγκεκριμένους ιστότοπους ή υπηρεσίες;

Θέλετε να παρακάμψετε αυτούς τους περιορισμούς και να αποκτήσετε πρόσβαση στο περιεχόμενο που θέλετε;

Εάν η απάντησή σας είναι ναι, τότε μπορείτε να εξετάσετε το ενδεχόμενο να χρησιμοποιήσετε έναν διακομιστή μεσολάβησης μέσω της διεπαφής της γραμμής εντολών χρησιμοποιώντας εργαλεία cURL ή wget.

Αρχικά, ας δούμε τι ακριβώς είναι το proxy και πώς λειτουργεί.

Πίνακας περιεχομένων

Τι είναι ο διακομιστής μεσολάβησης;

Ένας διακομιστής μεσολάβησης λειτουργεί ως μεσάζων μεταξύ της συσκευής σας (όπως ο υπολογιστής ή το τηλέφωνό σας) και του Διαδικτύου.

Όταν θέλετε να αποκτήσετε πρόσβαση σε έναν ιστότοπο ή μια υπηρεσία, το αίτημά σας πηγαίνει πρώτα στον διακομιστή μεσολάβησης αντί απευθείας στον προορισμό.

Στη συνέχεια, ο διακομιστής μεσολάβησης στέλνει το αίτημά σας στον διακομιστή προορισμού για λογαριασμό σας και λαμβάνει την απάντηση από τον διακομιστή προορισμού. Τέλος, ο διακομιστής μεσολάβησης στέλνει αυτήν την απάντηση στη συσκευή σας.

Είναι σαν να έχετε έναν προσωπικό βοηθό που φροντίζει για όλη την επικοινωνία ανάμεσα σε εσάς και τον διακομιστή προορισμού.

Αλλά γιατί να χρησιμοποιήσετε έναν διακομιστή μεσολάβησης εξαρχής;

Λοιπόν, υπάρχουν διάφοροι λόγοι.

Η χρήση ενός διακομιστή μεσολάβησης μπορεί να βοηθήσει στην προστασία του απορρήτου και της ανωνυμίας σας. Όταν συνδέεστε σε έναν ιστότοπο ή μια υπηρεσία μέσω διακομιστή μεσολάβησης, η διεύθυνση IP σας είναι κρυμμένη από τον διακομιστή προορισμού. Αντίθετα, ο διακομιστής βλέπει μόνο τη διεύθυνση IP του διακομιστή μεσολάβησης. Αυτό μπορεί να κάνει πιο δύσκολο για τους ιστότοπους να παρακολουθούν τις διαδικτυακές σας δραστηριότητες.

Και…

Ένας άλλος λόγος για να χρησιμοποιήσετε έναν διακομιστή μεσολάβησης είναι το φιλτράρισμα του περιεχομένου. Αυτό μπορεί να είναι ιδιαίτερα χρήσιμο για οργανισμούς που θέλουν να ελέγξουν ή να περιορίσουν την πρόσβαση σε συγκεκριμένους τύπους περιεχομένου.

Οι διακομιστές μεσολάβησης μπορούν να ρυθμιστούν ώστε να αποκλείουν την πρόσβαση σε ορισμένους ιστότοπους με βάση συγκεκριμένα κριτήρια, όπως λέξεις-κλειδιά ή κατηγορίες διευθύνσεων URL. Αυτό μπορεί να βοηθήσει να διασφαλιστεί ότι οι εργαζόμενοι δεν έχουν πρόσβαση σε ακατάλληλους ή αποσπούν την προσοχή ιστοσελίδες κατά τις ώρες εργασίας.

Εάν θέλετε να μάθετε τις βασικές διαφορές μεταξύ διακομιστή μεσολάβησης και VPN, μη διστάσετε να επισκεφθείτε αυτό το άρθρο.

Πώς να χρησιμοποιήσετε έναν διακομιστή μεσολάβησης με το cURL;

Το cURL είναι ένα εργαλείο γραμμής εντολών ανοιχτού κώδικα που έχει σχεδιαστεί για τη μεταφορά δεδομένων μεταξύ διακομιστών, γεγονός που το καθιστά ιδανική επιλογή για τους μάγους τεχνολογίας σε όλο τον κόσμο. Χάρη στην εντυπωσιακή συμβατότητά του με μια μεγάλη γκάμα πρωτοκόλλων όπως HTTP, FTP και SMTP.

Τραβήξτε κινούμενες εικόνες με το iPhone σας και αποθηκεύστε ως GIF

Μπορεί να χειριστεί ακόμα και τις πιο σύνθετες εργασίες μεταφοράς δεδομένων με ευκολία. Επιπλέον, αυτό το καινοτόμο εργαλείο είναι εξοπλισμένο με μια σειρά από ασφαλείς μεθόδους κρυπτογράφησης που συμβάλλουν στη διατήρηση της ασφάλειας και της ασφάλειας των δεδομένων καθ’ όλη τη διάρκεια της διαδικασίας μεταφοράς.

Το cURL είναι άμεσα διαθέσιμο για χρήση στα περισσότερα λειτουργικά συστήματα. Εάν διαπιστώσετε ότι δεν είναι εγκατεστημένο στο σύστημά σας, μην ανησυχείτε – μπορείτε εύκολα να το κατεβάσετε με μη αυτόματο τρόπο. Απλώς ακολουθήστε τα παρακάτω βήματα για να εγκαταστήσετε το cURL και να ξεκλειδώσετε πλήρως τις δυνατότητές του.

Windows

Κατεβάστε το εκτελέσιμο curl από τον επίσημο ιστότοπο.
Εξαγάγετε το αρχείο zip σε έναν φάκελο στον υπολογιστή σας.
Προσθέστε τη διαδρομή φακέλου στη μεταβλητή περιβάλλοντος PATH του συστήματος.

Mac OS

Ανοίξτε την εφαρμογή τερματικού.
Εγκαταστήστε το Homebrew (αν δεν το έχετε ήδη κάνει) εκτελώντας την ακόλουθη εντολή.

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

Τώρα εγκαταστήστε το cURL εκτελώντας την ακόλουθη εντολή.

brew install curl

Linux

Στις περισσότερες διανομές Linux, το cURL είναι εγκατεστημένο από προεπιλογή. Σε περίπτωση που λείπει, πρέπει να το εγκαταστήσετε χρησιμοποιώντας τον διαχειριστή πακέτων που είναι συγκεκριμένος για τη διανομή σας.

Για παράδειγμα, στο Ubuntu ή στο Debian, μπορείτε να εγκαταστήσετε το cURL εκτελώντας την ακόλουθη εντολή.

sudo apt-get install curl

Σε CentOS ή Fedora, μπορείτε να χρησιμοποιήσετε την παρακάτω εντολή.

sudo yum install curl

Αφού εγκαταστήσετε το cURL, μπορείτε να το δοκιμάσετε εκτελώντας την εντολή “curl –version” στο τερματικό/γραμμή εντολών σας.

Ας περάσουμε στο κύριο θέμα μας.

Μπορείτε να χρησιμοποιήσετε έναν διακομιστή μεσολάβησης με το cURL καθορίζοντας τον διακομιστή μεσολάβησης και τον αριθμό θύρας στην εντολή cURL χρησιμοποιώντας την επιλογή -x ή -proxy.

Ακολουθεί μια βασική σύνταξη μιας εντολής cURL που χρησιμοποιεί διακομιστή μεσολάβησης.

curl -x <proxy-server>:<port-number> <url>

Αντικαταστήστε το <διακομιστής μεσολάβησης> με το όνομα κεντρικού υπολογιστή ή τη διεύθυνση IP του διακομιστή μεσολάβησης, το <αριθμός θύρας> με τον αριθμό θύρας που χρησιμοποιείται από τον διακομιστή μεσολάβησης και το με τη διεύθυνση URL του ιστότοπου ή του τελικού σημείου API στο οποίο θέλετε να αποκτήσετε πρόσβαση.

Εδώ είναι ένα δείγμα παράδειγμα.

curl -x 5.189.184.6:80  ipinfo.io

Αυτή η εντολή στέλνει ένα αίτημα στον ιστότοπο ipinfo.io μέσω του διακομιστή μεσολάβησης στη διεύθυνση 5.189.184.6 στη θύρα 80. Αυτό το δείγμα διεύθυνσης διακομιστή μεσολάβησης έχω λάβει από τη δημόσια διαθέσιμη λίστα διακομιστή μεσολάβησης. Μη διστάσετε να επισκεφτείτε αυτόν τον ιστότοπο, εάν ψάχνετε για μια προσωρινή διεύθυνση διακομιστή μεσολάβησης. Δοκιμάστε με δική σας ευθύνη!☢️

Λάβετε υπόψη ότι μερικές φορές μπορεί επίσης να χρειαστεί να δώσετε διαπιστευτήρια ελέγχου ταυτότητας στον διακομιστή μεσολάβησης, οπότε μπορείτε να χρησιμοποιήσετε τις επιλογές «–proxy-user» και «–proxy-password» για να συμπεριλάβετε το όνομα χρήστη και τον κωδικό πρόσβασής σας. Για παράδειγμα:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Αντικαταστήστε το “όνομα χρήστη” και τον “κωδικό πρόσβασης” με τα πραγματικά διαπιστευτήρια ελέγχου ταυτότητας για τον διακομιστή μεσολάβησης.

Δοκιμή της σύνδεσης διακομιστή μεσολάβησης με το cURL

Πριν χρησιμοποιήσετε το διακομιστή μεσολάβησης

Πώς να προσθέσετε υπότιτλους σε φωτογραφίες και βίντεο σε iPhone και iPad

Εδώ, μπορείτε να δείτε ότι το cURL εμφανίζει την αρχική διεύθυνση IP και την τοποθεσία μου. Για λόγους ασφαλείας, έπρεπε να κρύψω τη διεύθυνση IP μου.

Μετά τη χρήση διακομιστή μεσολάβησης

Εδώ, το cURL εμφανίζει τη διεύθυνση διακομιστή μεσολάβησης αντί για την αρχική μου διεύθυνση IP.

Πώς να χρησιμοποιήσετε το διακομιστή μεσολάβησης με το wget;

Το wget είναι ένα εργαλείο γραμμής εντολών που χρησιμοποιείται για τη λήψη αρχείων από το Διαδίκτυο. Έρχεται προεγκατεστημένο στα περισσότερα συστήματα Linux, Unix και macOS και είναι επίσης διαθέσιμο για Windows.

Για να εγκαταστήσετε το wget σε ένα σύστημα Linux, μπορείτε να χρησιμοποιήσετε τον διαχειριστή πακέτων της διανομής σας.

Για παράδειγμα, στο Debian ή στο Ubuntu, μπορείτε να χρησιμοποιήσετε την ακόλουθη εντολή:

sudo apt-get install wget

Σε CentOS ή Fedora

sudo yum install wget

Στο macOS, μπορείτε να εγκαταστήσετε το wget χρησιμοποιώντας το Homebrew.

brew install wget

Στα Windows, μπορείτε να εγκαταστήσετε το wget κατεβάζοντας το δυαδικό εκτελέσιμο αρχείο από τον επίσημο ιστότοπο του GNU και προσθέτοντάς το στη διαδρομή του συστήματός σας.

Αφού εγκαταστήσετε το wget, μπορείτε να το χρησιμοποιήσετε για λήψη αρχείων από τη γραμμή εντολών, καθορίζοντας τη διεύθυνση URL του αρχείου που θέλετε να κατεβάσετε. Για παράδειγμα, Για να κάνετε λήψη ενός αρχείου με το όνομα “example.zip” από έναν ιστότοπο, μπορείτε να χρησιμοποιήσετε την ακόλουθη εντολή:

wget http://example.com/example.zip

Μπορείτε επίσης να χρησιμοποιήσετε πρόσθετες επιλογές για να προσαρμόσετε τη λήψη, όπως να καθορίσετε το όνομα αρχείου ή τον κατάλογο εξόδου, να περιορίσετε την ταχύτητα λήψης και να συνεχίσετε τις λήψεις που έχουν διακοπεί. Για να μάθετε περισσότερα σχετικά με τις διαθέσιμες επιλογές, μη διστάσετε να χρησιμοποιήσετε το εγχειρίδιο wget πληκτρολογώντας “man wget” στο τερματικό σας.

Ας ρίξουμε μια βουτιά στη διαμόρφωση του διακομιστή μεσολάβησης χρησιμοποιώντας αυτό το wget.

Αρχικά, ορίστε τις μεταβλητές περιβάλλοντος για τον διακομιστή μεσολάβησης εκτελώντας την ακόλουθη εντολή στο τερματικό.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Ελέγξτε εάν ο διακομιστής μεσολάβησης έχει ρυθμιστεί σωστά εκτελώντας την ακόλουθη εντολή:

wget <target-url>

Αντικαταστήστε το με τη διεύθυνση URL του αρχείου ή της ιστοσελίδας που θέλετε να κατεβάσετε χρησιμοποιώντας τον διακομιστή μεσολάβησης. Εάν η εντολή επιτύχει τη λήψη του αρχείου ή της ιστοσελίδας, τότε ο διακομιστής μεσολάβησης έχει ρυθμιστεί σωστά. Εάν αποτύχει, τότε ίσως χρειαστεί να ελέγξετε τις ρυθμίσεις και τα διαπιστευτήρια του διακομιστή μεσολάβησης.

(Προαιρετικό) Για να κάνετε τις ρυθμίσεις του διακομιστή μεσολάβησης μόνιμες, μπορείτε να προσθέσετε τις μεταβλητές περιβάλλοντος στο αρχείο προφίλ φλοιού, όπως ~/.bashrc ή ~/.bash_profile. Μπορείτε να προσθέσετε τις ακόλουθες γραμμές στο τέλος του αρχείου:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Εάν ο διακομιστής μεσολάβησης απαιτεί έλεγχο ταυτότητας, μπορείτε να συμπεριλάβετε το όνομα χρήστη και τον κωδικό πρόσβασής σας στις μεταβλητές “http_proxy” και “https_proxy περιβάλλον”.

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Σημείωση: Ορισμένοι διακομιστές μεσολάβησης ενδέχεται να χρησιμοποιούν διαφορετικό σχήμα πρωτοκόλλου, όπως κάλτσες αντί για “http” ή “https”. Σε αυτήν την περίπτωση, πρέπει να προσαρμόσετε ανάλογα το σχήμα στις μεταβλητές περιβάλλοντος και στις διευθύνσεις URL.

Τι πρέπει να γνωρίζετε για το νέο πρόγραμμα περιήγησης Microsoft Edge

Δοκιμή σύνδεσης διακομιστή μεσολάβησης με το wget

Πριν χρησιμοποιήσετε το διακομιστή μεσολάβησης

Το wget εμφανίζει την αρχική μου διεύθυνση IP πριν χρησιμοποιήσω μια διεύθυνση διακομιστή μεσολάβησης. Για λόγους ασφαλείας, έπρεπε να κρύψω τη διεύθυνση IP μου.

Μετά τη χρήση του διακομιστή μεσολάβησης

Εδώ μπορείτε να δείτε ότι το wget προσπαθεί να συνδεθεί με έναν διακομιστή μεσολάβησης πριν αποκτήσει πρόσβαση στον ιστότοπο.

Αντιμετώπιση προβλημάτων κοινών προβλημάτων

Η χρήση διακομιστή μεσολάβησης με cURL και wget μπορεί μερικές φορές να οδηγήσει σε προβλήματα. Μην φοβάστε, έχουμε μερικές κοινές συμβουλές αντιμετώπισης προβλημάτων για να σας επαναφέρουμε στο σωστό δρόμο!

#1. Ο διακομιστής μεσολάβησης δεν ανταποκρίνεται

Εάν ο διακομιστής μεσολάβησής σας δεν ανταποκρίνεται, ενδέχεται να είναι εκτός λειτουργίας ή να αντιμετωπίζει προβλήματα. Για να καταλάβετε τι συμβαίνει, δοκιμάστε τα παρακάτω.

Ελέγξτε εάν ο διακομιστής μεσολάβησης είναι ενεργοποιημένος κάνοντας ping στη διεύθυνση IP του διακομιστή.
Βεβαιωθείτε ότι έχετε εισαγάγει τη σωστή διεύθυνση διακομιστή μεσολάβησης και αριθμό θύρας.
Δοκιμάστε να χρησιμοποιήσετε διαφορετικό διακομιστή μεσολάβησης για να δείτε εάν το πρόβλημα παραμένει.

#2. Η σύνδεση απορρίφθηκε

Ω, η σύνδεση αρνήθηκε;

Αυτό δεν είναι καλό.

Αυτό το σφάλμα συνήθως υποδεικνύει ότι ο διακομιστής μεσολάβησης δεν δέχεται συνδέσεις. Ακολουθούν ορισμένα βήματα για την αντιμετώπιση αυτού του ζητήματος:

Πρώτα, ελέγξτε εάν ο διακομιστής μεσολάβησης έχει ρυθμιστεί να δέχεται συνδέσεις από τη διεύθυνση IP ή το υποδίκτυό σας.
Βεβαιωθείτε ότι ο διακομιστής μεσολάβησης δεν αποκλείεται από τείχος προστασίας ή λογισμικό προστασίας από ιούς.
Στη συνέχεια, ελέγξτε εάν ο διακομιστής μεσολάβησης απαιτεί διαπιστευτήρια ελέγχου ταυτότητας και βεβαιωθείτε ότι έχετε εισαγάγει τα σωστά διαπιστευτήρια.

Μην ξεχάσετε να δοκιμάσετε έναν διαφορετικό διακομιστή μεσολάβησης εάν καμία από αυτές τις συμβουλές δεν λειτουργεί.

#3. Η επαλήθευση πιστοποιητικού SSL/TLS απέτυχε

απέτυχε η επαλήθευση πιστοποιητικού;

Ακούγεται σαν πρόβλημα με το πιστοποιητικό SSL/TLS του διακομιστή μεσολάβησης.

Για να αντιμετωπίσετε αυτό το ζήτημα, δοκιμάστε τα εξής:

Ελέγξτε το πιστοποιητικό του διακομιστή μεσολάβησης για να βεβαιωθείτε ότι είναι έγκυρο και ότι δεν έχει λήξει.
Εάν το πιστοποιητικό δεν είναι έγκυρο, επικοινωνήστε με τον διαχειριστή του διακομιστή μεσολάβησης για να αποκτήσετε ένα έγκυρο πιστοποιητικό SSL/TLS.
Εάν το πιστοποιητικό είναι έγκυρο και εξακολουθεί να μην λειτουργεί. Μπορείτε να απενεργοποιήσετε την επαλήθευση πιστοποιητικού SSL/TLS, αλλά προσέξτε ότι κάτι τέτοιο μπορεί να θέσει σε κίνδυνο την ασφάλειά σας.

#4. Η ταυτοποίηση απέτυχε

Εάν ο διακομιστής μεσολάβησης απαιτεί έλεγχο ταυτότητας και δεν μπορείτε να πραγματοποιήσετε έλεγχο ταυτότητας, πιθανότατα οφείλεται στο ότι έχετε εισαγάγει λάθος όνομα χρήστη και κωδικό πρόσβασης ή ότι ο διακομιστής μεσολάβησης χρησιμοποιεί διαφορετική μέθοδο ελέγχου ταυτότητας.

Δοκιμάστε να προσαρμόσετε ανάλογα τα διαπιστευτήρια ελέγχου ταυτότητας ή επικοινωνήστε με τον διαχειριστή του διακομιστή μεσολάβησης για βοήθεια.

Σημείωση συγγραφέα✍️

Υπάρχουν πολλοί δωρεάν και επί πληρωμή πάροχοι μεσολάβησης που διατίθενται στο διαδίκτυο, αλλά μια προτεινόμενη επιλογή για εμπορική χρήση είναι η IPRoyal. Η IPRoyal προσφέρει ένα ευρύ φάσμα λύσεων διακομιστή μεσολάβησης για επιχειρήσεις, συμπεριλαμβανομένων των διακομιστών μεσολάβησης κατοικιών και κέντρων δεδομένων με πολλαπλές τοποθεσίες και τύπους IP για να διαλέξετε.

Παρέχει αξιόπιστες και ασφαλείς υπηρεσίες μεσολάβησης για διάφορες περιπτώσεις χρήσης, όπως η απόξεση ιστού, η εξόρυξη δεδομένων και η αυτοματοποίηση.

Ελπίζω να βρήκατε αυτό το άρθρο χρήσιμο για να μάθετε σχετικά με τη χρήση διακομιστή μεσολάβησης με εργαλεία γραμμής εντολών cURL και wget. Μπορεί επίσης να σας ενδιαφέρει να μάθετε πώς να ανωνυμοποιείτε την κυκλοφορία Linux χρησιμοποιώντας αλυσίδες διακομιστή μεσολάβησης και το δίκτυο Tor.