cURL ist eine Abkürzung für Client-URL und ein Befehlszeilen-Tool zum Senden und Empfangen von Daten von einem Server. Es ist auf modernen Betriebssystemen, einschließlich Windows 10 und Linux-Distributionen, verfügbar. Es handelt sich um eine praktische Bibliothek, mit der Sie Daten von und an Websites senden und empfangen können, und ist ein wichtiges Tool für Ihre Web-Scraping-Bedürfnisse. Bevor wir uns ein einfaches Beispiel ansehen, wollen wir herausfinden, was Sie wissen müssen, um es zu installieren.
sudo apt install curl.
Öffnen Sie unter Windows Ihr Terminal oder die Eingabeaufforderung und geben Sie ein:
<em><strong>curl https://www.yahoo.com</strong></em>Auf der Konsole würde es den HTML-Code der Seite ausgeben.
cURL überträgt Daten zu und von Webseiten mit Hilfe von Internetprotokollen. Obwohl cURL ursprünglich für die Arbeit mit HTTP-Protokollen entwickelt wurde, unterstützt es derzeit viele Netzwerkprotokolle wie FTP, IMAP, IMAPS, SMTP, POP3, POP3S und andere.
Es unterstützt auch POST, GET, PUT und einige der anderen Methoden, die es für das Senden von Anfragen gibt. Schauen wir uns ein Beispiel für das Senden einiger Daten mit den Post-Daten an.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"Das obige Codestück -d bedeutet, dass Sie die post-Methode verwenden, um Ihren Namen und einen Wert an die post-Seite von examplewebsite.com zu übergeben.
Jetzt wissen Sie, was cURL ist, und lassen Sie uns zu seiner Verwendung mit Proxys übergehen.
Wenn Sie cURL mit einer Proxy-Adresse konfigurieren, können Sie Ihre Datenkommunikation mit all diesen Proxy-Funktionen verbessern.
Durch die Verwendung von cURL mit einem Proxy wird sichergestellt, dass die Benutzer ihre Identität vor dem Server verbergen können. Wenn die Benutzer es vorziehen, Informationen abzurufen, ohne anderen ihre tatsächliche Identität mitzuteilen, können sie bei ihrer cURL-Befehlsanfrage eine Proxy-Adresse konfigurieren. In diesem Fall leitet der Proxy die Anfrage des Benutzers in seinem Namen weiter, wobei die tatsächliche Identität verborgen bleibt. Proxyscrape bietet Proxys für alle Protokolltypen wie HTTPs, Socks4 und Socks5 , die die Anonymität für alle Arten von Anfragen wahren können.
Wenn Nutzer an einem Standort nicht auf Inhalte von Websites anderer geografischer Grenzen zugreifen können, helfen Proxys dabei, diese Beschränkungen zu umgehen. Proxyscrape stellt Proxys für mehrere Länder zur Verfügung, so dass Nutzer das gewünschte Land auswählen können, um die Geoblocks zu umgehen.
Sie können Proxys verwenden, um sich mit einer Website über cURL zu verbinden. Proxys sind zum Beispiel wichtig, wenn Sie cURL zum Scrapen von Daten verwenden. Dann bleiben Sie für die Ziel-Website, von der Sie Daten abrufen, anonym.
Um eine Verbindung mit Proxys herzustellen, benötigen Sie die Adresse des Proxy-Servers, die Portnummer und den Protokolltyp, und wenn eine Authentifizierung erforderlich ist, müssen Sie den Benutzernamen und das Passwort eingeben. Betrachten wir ein einfaches Beispiel: Wir nehmen an, die Proxy-Adresse lautet 127.0.0.1 und die Portnummer 8920. Die unten aufgeführten Beispiele sind Grundlagen für Verbindungsproxys mit cURL, die für jeden Proxydienst funktionieren würden.
Die Syntax für die Verbindung zu einem Proxy lautet wie folgt:
curl --proxy proxyaddress: port https://examplewebsite.comdurch ersetzen würde:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comMit dem obigen Befehl wird Ihre Verbindung über einen Proxy zu examplewebsite.com geleitet.
Nun wollen wir uns ein Beispiel ansehen, das eine Authentifizierung erfordert, bei der der Benutzername ein Benutzername und das Passwort ein Passwort ist.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comJetzt können Sie herausfinden, welche Befehle Sie verwenden müssen, wenn Sie cURL mit einem Proxy-Protokoll verbinden, indem Sie :
curl --helpZweifellos würde die Liste sehr umfangreich ausfallen, und wir konzentrieren uns auf die wichtigsten Befehle, die im Folgenden aufgeführt sind:
-x, --proxy [protocol://]host[:port]In diesem Befehl steht x zusammen mit -proxy für die Proxy-Details, wobei Sie beide verwenden können, da beide korrekt sind. Beachten Sie jedoch, dass bei x zwischen Groß- und Kleinschreibung unterschieden wird.
Um sicherzugehen, dass Sie Proxys verwenden, können Sie auch den folgenden Befehl verwenden:
http://httpbin.org/ip locken.Dieser Befehl gibt normalerweise die IP-Adresse des Ursprungs zurück. Wenn Sie also einen Proxyserver verwenden, wird die IP-Adresse des Proxyservers zurückgegeben und nicht Ihre eigene.
Zusammengefasst könnten Sie die Anfrage also wie folgt senden:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Auch der folgende Befehl wäre derselbe wie oben:
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Wichtig ist hier, dass Sie sowohl für die Proxy-URL als auch für die Ziel-URL Anführungszeichen verwenden sollten. Dies ist auf das Vorhandensein von Sonderzeichen in der URL zurückzuführen.
Wenn Sie außerdem SSL-Zertifikatsfehler erhalten, müssen Sie am Ende des Befehls den Kleinbuchstaben -k hinzufügen, wie unten gezeigt:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Dadurch werden unsichere Verbindungen bei Verwendung der SSL-Verbindung zugelassen.
Bei der Verwendung von Proxys ist das Standardprotokoll HTTP, sofern nicht ausdrücklich anders angegeben. Daher sind die beiden folgenden Befehle korrekt:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
curl --proxy "benutzername:[email protected]:8920" "http://httpbin.org/ip".Wenn Sie einen Proxy für cURL haben möchten, können Sie eine curl-config-Datei auf folgende Weise erstellen.
Wenn Sie unter macOS oder Linux arbeiten, müssen Sie zunächst das Terminal öffnen und in Ihr Home-Verzeichnis wechseln. Wenn es eine .curlrc gibt, müssen Sie diese öffnen und eine neue leere Datei erstellen. Sie können die folgenden Befehle verwenden, um zu der Datei zu navigieren:
cd~
nano .curlrc.Dann müssen Sie diese Zeile in die Datei einfügen:
Proxy="http://username:[email protected]:8920"Speichern Sie die Datei, und jetzt können Sie cURL mit Proxies verwenden. Führen Sie einfach die cURL normal aus, und sie wird den Proxy aus der obigen Datei lesen:
curl "http://httpbin.org/ip"echo %APPDATA%Der obige Befehl gibt also den Pfad zurück, und Sie müssen zu ihm navigieren. Dann müssen Sie die Datei _curlrc erstellen und den Proxy genauso wie unter macOS oder Linux einstellen.