Wenn Sie einen Proxy verwenden, stellen Sie keine direkte Verbindung zum Zielserver her, sondern leiten Ihre Anfrage an den Proxy-Server, der sie auswertet und eine Antwort zurückschickt. Proxys haben viele Vorteile, z. B. verbergen sie Ihre echten IP-Adressen und umgehen Filter, Zensur usw.
Ein Proxy-Rotator kann Ihnen helfen, die meisten Anti-Scraping-Maßnahmen zu umgehen. Sie können ihn auch verwenden, um etwaige auf der Ziel-Website implementierte Ratenbeschränkungen zu umgehen und erfolgreich Daten zu extrahieren. Aber was ist ein rotierender Proxy? Es handelt sich um einen Proxy, der für jede Verbindung aus dem Proxy-Pool eine neue IP-Adresse zuweist. Das bedeutet, dass Sie 1000 Anfragen an eine beliebige Anzahl von Websites senden können, indem Sie ein Skript starten und 1000 verschiedene IP-Adressen erhalten.
Dieser Artikel hilft Ihnen zu verstehen, wie man Proxys verwendet, um IP-Adressen in Python zu rotieren.
Sie müssen das Python-Modul requests mit dem folgenden Befehl importieren.
EinfuhrgesucheWenn das Modul in Ihrer Umgebung nicht installiert ist, können Sie es mit dem folgenden Befehl installieren.
!pip install Anfragendef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passJetzt kommt der Hauptteil des Codes. Sie müssen Ihre Datei list_proxy.txt einlesen und in der Variablen proxies speichern, wie unten gezeigt.
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()Um eine Sitzung in Python zu erstellen, müssen Sie das Modul requests verwenden. Im folgenden Code haben wir eine for-Schleife verwendet, um den Proxy zu durchlaufen. Anschließend haben wir die Sitzung und den Proxy an die Funktion send_request übergeben.
mit requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Führen Sie das Skript aus und sehen Sie sich die Ausgabe wie unten gezeigt an. Sie erhalten eine lange Liste von Proxys, aber denken Sie daran, dass sie nicht funktionieren werden.
python rotateproxy.pyIhr gesamter Code wird wie folgt aussehen:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Im Folgenden finden Sie einige Tipps zum Drehen von Proxys in Python, wenn Sie einen rotierenden Proxy verwenden.
Die meisten der verfügbaren kostenlosen Proxy-Dienste sind überlastet, was zu unerwarteten Abstürzen und frustrierenden Verzögerungen führt. Wenn Sie sich für kostenlose Proxys entscheiden, müssen Sie daher prüfen, ob sie Ihren Scraping-Bedürfnissen entsprechen, ohne dass es zu nennenswerten Beeinträchtigungen kommt.
Die meisten kostenlosen Proxys sind nur für eine begrenzte Zeit gültig, so dass Sie Ihre eigene Logik in Python erstellen können, die den Rotator der kostenlosen Proxy-Liste mit funktionierenden IP-Adressen rotieren lässt. Auf diese Weise kommt es beim Web-Scraping nicht zu Unterbrechungen.
Vermeiden Sie die Verwendung von IP-Adressen, die einer bestimmten Reihenfolge oder einem vorhersehbaren Format folgen, z. B. derselben Gruppe angehören. Das liegt daran, dass die meisten Anti-Scraping-Tools die von solchen IP-Adressen gesendeten Anfragen leicht erkennen können. So sollten Sie zum Beispiel die folgende Abfolge rotierender IP-Adressen nicht verwenden, da sie schnell auffallen würde.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Die kostenlosen Proxy-IP-Rotatoren sind unsicher und langsam. Sie sind daher nicht geeignet, wenn Sie fortgeschrittene und groß angelegte Web-Scraping-Projekte durchführen. Mit guten Premium-Proxys erhalten Sie einen qualitativ hochwertigen Service und können Tausende von Webseiten scrapen, ohne dass es zu Blockaden oder Unterbrechungen kommt.
Um einen Premium-Proxy-Dienst zu nutzen, müssen Sie ein paar Dollar bezahlen und einen Anbieter finden, der Ihre Anforderungen an die Datenextraktion erfüllt und Ihre Privatsphäre garantiert.
Im Folgenden werden drei Hauptkategorien von Proxys im Internet vorgestellt.
Sie können die IP-Rotation nutzen, um mehrere IP-Adressen zu wechseln und eine Entdeckung zu vermeiden. Allerdings können einige Anti-Scraping-Maßnahmen solche Aktivitäten erkennen und Sie am Sammeln von Daten hindern. Daher müssen Sie neben den IP-Adressen auch die Benutzeragenten wechseln, um Ihre Erfolgschancen zu erhöhen.