Springen Sie einfach zu einem beliebigen Abschnitt, um mehr über Proxy mit Python-Anfragen zu erfahren!
Die Integration von Proxy in die Python-Request-Bibliothek erfordert die Fähigkeit, mit Python zu arbeiten.
Pip-Installationsanfragen
Es gibt 5 einfache Schritte, um Proxys mit Python-Anfragen hinzuzufügen. Diese Schritte umfassen die wichtigsten Punkte von der Installation der erforderlichen Pakete über das Hinzufügen von Proxy-Adressen bis hin zum Senden von Anfragen über Requests-Methoden der Python-Module.
Diese 5 Schritte werden in einem schrittweisen Leitfaden ausführlich erläutert. Das Hinzufügen eines Proxys mit Python-Anfragen und die verfügbaren Parameter und ihre Funktionen werden im Folgenden erläutert.
Die wichtigste Voraussetzung für die Arbeit mit Python-Requests ist der Import des Requests-Moduls.
EinfuhranträgeDieses Anfragemodul ist für das Senden von HTTP-Anfragen mit Python-Codierung zuständig. Um nun Proxys in diese Python-Anfragen einzubinden, müssen die Benutzer ein Wörterbuch mit dem Namen "Proxys" definieren. Dieses Wörterbuch enthält die "HTTP-Protokolle" als Namen und die "Proxy-URLs" als Wert der Namen. Dieses Proxy-Verzeichnis hilft bei der Herstellung einer HTTP-Verbindung.
proxies = {'https': /, 'http://webproxy.to/ ''}Der nächste Schritt besteht darin, eine Variable namens "URL" zu erstellen, um die Website zu definieren, die die Quelle des Scraping-Prozesses ist.
Der nächste Schritt besteht darin, eine "Antwort"-Variable zu definieren, um die Anfrage durch Übergabe der "URL"- und Proxy-Variablen zu bearbeiten.
Antwort = requests.get(url)Die Benutzer können auch den "Statuscode" ausdrucken, um zu sehen, ob die Anfrage erfolgreich war oder nicht.
print(f’Status Code: {response.status_code}') import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f'Status Code: {response.status_code}')Benutzer können die Proxy-Authentifizierung einbeziehen, indem sie die Parameter "Benutzername" und "Passwort" hinzufügen.
response = requests.get(url, auth=('user', 'pass'))import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, auth=('user','pass'))Dieses Sitzungsobjekt ist den Cookies ähnlich. Es speichert die benutzerspezifischen Daten von mehreren Anfragen. Benutzer können Sitzungsobjekte einbinden, indem sie die Sitzungsfunktion der Anfragebibliothek aufrufen.
requests.session()import requests
session = requests.Session()
session.proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f’Status Code: {response.status_code}') Mit dem Parameter "timeout" bei HTTP-Anfragen kann der Benutzer eine maximale Zeitspanne für die Bearbeitung von Anfragen angeben. Diese Zeit teilt dem Server mit, wie lange er auf eine Antwort warten soll. Dieser Parameter kann an die Funktion "HTTP-Anfragen" übergeben werden.
response = requests.get('url', timeout=5))Die Benutzer können den Timeout-Wert auch auf "Keine" setzen, wenn der Remote-Server langsam ist und das System lange warten muss.
response = requests.get('url', timeout=none))import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, timeout=5)
print(f’Status Code: {response.status_code}') Es kann vorkommen, dass ein und derselbe Proxy mehrmals verwendet wird. Anstatt die Proxy-URL wiederholt einzugeben, haben sie die Möglichkeit, eine Umgebungsvariable zu verwenden. Mit dieser Option können die Benutzer eine Proxy-URL einer Umgebungsvariablen zuweisen und diese Variable bei Bedarf einfach verwenden.
export HTTP_PROXY='http://webproxy.t'Die Übermittlung eines JSON an den Server ist auch in python-requests möglich. In diesem Fall nimmt der Proxy mit Python-Requests-Methoden die URL als ersten Parameter und das JSON als zweiten Parameter. Er wandelt das Wörterbuch in Python-Strings um.
import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.post(url, json={
"ID": 123,
"Name": "John"))
})
print(f’Status Code: {response.status_code}, Response: {r.json()}") Um die Anonymität zu verbessern, kann man auch die Proxys wechseln. Wenn Sie lange Zeit denselben Proxy für alle Websites verwenden, kann dies dazu führen, dass Internetdienstanbieter Ihre Proxy-Adresse verfolgen und sperren. Viele Menschen bevorzugen es, mehr als einen Proxyserver in einem Rotationsmodell zu verwenden, um mit diesen IP-Sperren umzugehen. Sie haben einen Pool von Proxys, und das System rotiert und weist einen neuen Proxy aus dem Pool zu.
Der erste Schritt zum Rotieren von Proxy mit Python Requests ist der Import der notwendigen Bibliotheken wie Requests, Beautiful Soap und Choice.
Um diesen Rotations-Proxy mit Python-Requests zu nutzen, müssen wir sie oder ihre URLs konfigurieren, um sie zu nutzen. Proxyscrape bietet kostenpflichtige und kostenlose Proxys aller Kategorien. Man kann private, datenzentrierte und private Proxys aller Arten und Standorte nutzen.
ipaddresses = [" proxyscrape.com:2000", "proxyscrape.com:2010 ", "proxyscrape.com:2100 ", "proxyscrape.com 2500"]Dann müssen die Benutzer eine "Proxy-Anfrage"-Methode erstellen, die drei Parameter hat, z. B. Anfragetyp, URL und **Karg.
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):In dieser "Proxy-Request"-Methode wird das Proxy-Wörterbuch als Antwort auf die Proxy-Request-Methoden zurückgegeben. Hier ist kwargs ein Argument zur Übergabe der Werte.
Diese Methode extrahiert Proxy-Adressen aus einer bestimmten URL, um die extrahierte Antwort in ein Beautiful Soap-Objekt umzuwandeln, das den Proxy-Extraktionsprozess erleichtert.
random.radint(0,len(ipaddresses)-1)Erstellen Sie dann eine "proxy"-Variable, die die "soap"-Bibliothek verwendet, um zufällig eine Proxy-Adresse aus einer Liste von "soap"-Objekt-Proxys zu generieren.
proxy = random.radint(0,len(ipaddresses)-1)proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
print(currentproxy:{proxy[‘https’]}”)
import requests
import BeautifulSoap
import choice
ipaddresses = [“ proxyscrape.com:2000”, “proxyscrape.com:2010 ”, “proxyscrape.com:2100 ”, “proxyscrape.com 2500”]
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):
while True:
proxy = random.radint(0,len(ipaddresses)-1)
proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
print(currentproxy:{proxy[‘https’]}”)
break
return responseIn diesem Artikel wurden HTTP-Anfragen in der Programmiersprache Python behandelt, zusammen mit den notwendigen Bibliotheken, Modulen und Funktionen, die zum Senden einer HTTP-Anfrage erforderlich sind. Sie können das Anfragemodul importieren und die Methoden GET, POST, PATCH und PUT nach Ihren Anforderungen verwenden. Sie können sich auf den Proxy in Python konzentrieren, wenn Sie Proxy-Funktionen wie Anonymität, Geschwindigkeit und Scraping-Funktionen nutzen möchten. Benutzer können auch Proxy-Pools verwenden und Proxys mit einer Proxy-Anfrage rotierend zuweisen, um die Sicherheit zu erhöhen.