Eine der einfachsten Möglichkeiten, einen guten Kundenstamm zu haben, ist es, so viele geschäftliche E-Mail-Adressen wie möglich zu haben und ihnen immer wieder Einzelheiten über Ihre Dienstleistungen zu schicken. Es gibt viele Scraping-Tools im Internet, die diese Dienste kostenlos anbieten, aber sie haben Datenentnahmebeschränkungen. Sie bieten auch unbegrenzte Datenextraktionslimits, aber sie sind kostenpflichtig. Warum sollte man sie bezahlen, wenn man sie auch selbst bauen kann? Lassen Sie uns die Schritte zur Erstellung eines hochwertigen Scraping-Tools mit Python besprechen.
Obwohl es sich um ein sehr einfaches Beispiel für Anfänger handelt, wird es eine Lernerfahrung sein, besonders für diejenigen, die neu im Web Scraping sind. Dies ist ein Schritt-für-Schritt-Tutorial, das Ihnen helfen wird, E-Mail-Adressen ohne Einschränkungen zu erhalten. Beginnen wir mit dem Bauprozess unseres intelligenten Web Scrapers.
Wir werden die folgenden sechs Module für unser Projekt verwenden.
re importieren
importiere Anfragen
from urllib.parse import urlsplit
from collections import deque
von bs4 importieren BeautifulSoup
importiere pandas als pd
from google.colab importiert DateienDie Einzelheiten zu den importierten Modulen sind nachstehend aufgeführt:
In diesem Schritt wird eine Deque initialisiert, in der die gescrapten URLs, die nicht gescrapten URLs und eine Reihe von E-Mails gespeichert werden, die erfolgreich von den Websites gescraped wurden.
# Url aus Eingabe lesen
original_url = input("Geben Sie die Website-URL ein: ")
# Urls speichern, die ausgewertet werden sollen
unscraped = deque([original_url])
# zum Speichern der ausgewerteten URLs
ausgekratzt = set()
# zum Speichern der abgerufenen Emails
emails = set() Doppelte Elemente sind in einer Menge nicht erlaubt, so dass sie alle eindeutig sind.
while len(unscraped):
# verschiebe unsraped_url in scraped_urls set
url = unscraped.popleft() # popleft(): Entfernt ein Element von der linken Seite der Queue und gibt es zurück
scraped.add(url)Teile = urlsplit(url)urlsplit() gibt ein 5-Tupel zurück: (Adressierungsschema, Netzstandort, Pfad, Abfrage, Fragment, Bezeichner).
Aus Gründen der Vertraulichkeit kann ich keine Beispieleingaben und -ausgaben für urlsplit() zeigen, aber wenn Sie es versuchen, wird der Code Sie auffordern, einen Wert einzugeben (Website-Adresse). In der Ausgabe wird das SplitResult() angezeigt, und innerhalb des SplitResult() gibt es fünf Attribute.
Auf diese Weise erhalten wir den Basis- und Pfadteil für die Website-URL.
base_url = "{0.scheme}://{0.netloc}".format(parts)
if '/' in parts.path:
path = url[:url.rfind('/')+1]
else:
path = urlversuchen:
response = requests.get(url)
except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
# Seiten mit Fehlern ignorieren und mit der nächsten Url fortfahren
weiter# Sie können den regulären Ausdruck nach Ihren Anforderungen bearbeiten
new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com",
response.text, re.I)) # re.I: (Groß-/Kleinschreibung ignorieren)
emails.update(neue_emails)# eine schöne Suppe für das HTML-Dokument erstellen
soup = BeautifulSoup(response.text, 'lxml')The <a href=””> tag indicates a hyperlink that can be used to find all the linked URLs in the document.
for anchor in soup.find_all("a"):
# Extrahiere die verlinkte Url aus dem Anker
if "href" in anker.attrs:
link = anchor.attrs["href"]
sonst:
link = ''
# relative Links auflösen (beginnend mit /)
if link.startswith('/'):
link = base_url + link
elif not link.startswith('http'):
link = path + linkDann suchen wir die neuen URLs und fügen sie in die "Unscraped"-Warteschlange ein, wenn sie weder in der "Scraped"- noch in der "Unscraped"-Warteschlange enthalten sind.
Wenn Sie den Code selbst ausprobieren, werden Sie feststellen, dass nicht alle Links abgegriffen werden können, so dass wir auch diese ausschließen müssen,
if not link.endswith(".gz" ):
wenn nicht link in unscraped und nicht link in scraped:
unscraped.append(link)Um die Ergebnisse besser analysieren zu können, werden wir die E-Mails in eine CSV-Datei exportieren.
df = pd.DataFrame(emails, columns=["Email"]) # durch den gewünschten Spaltennamen ersetzen
df.to_csv('email.csv', index=False)Wenn Sie Google Colab verwenden, können Sie die Datei auf Ihren lokalen Rechner herunterladen, indem Sie
from google.colab import files
files.download("email.csv")Wie bereits erläutert, kann ich die gestrichenen E-Mail-Adressen aus Gründen der Vertraulichkeit nicht anzeigen.
[Haftungsausschluss! Einige Websites erlauben kein Web-Scraping und haben sehr intelligente Bots, die Ihre IP-Adresse dauerhaft blockieren können; Scraping erfolgt also auf eigene Gefahr].
import re
import requests
from urllib.parse import urlsplit
from collections import deque
from bs4 import BeautifulSoup
import pandas as pd
from google.colab import files
# read url from input
original_url = input("Enter the website url: ")
# to save urls to be scraped
unscraped = deque([original_url])
# to save scraped urls
scraped = set()
# to save fetched emails
emails = set()
while len(unscraped):
url = unscraped.popleft()
scraped.add(url)
parts = urlsplit(url)
base_url = "{0.scheme}://{0.netloc}".format(parts)
if '/' in parts.path:
path = url[:url.rfind('/')+1]
else:
path = url
print("Crawling URL %s" % url)
try:
response = requests.get(url)
except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
continue
new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", response.text, re.I))
emails.update(new_emails)
soup = BeautifulSoup(response.text, 'lxml')
for anchor in soup.find_all("a"):
if "href" in anchor.attrs:
link = anchor.attrs["href"]
else:
link = ''
if link.startswith('/'):
link = base_url + link
elif not link.startswith('http'):
link = path + linkDa Unternehmen für den Aufbau ihrer Kontaktliste zahlreiche E-Mail-Adressen benötigen, ist es notwendig, Daten aus mehreren Quellen zu sammeln. Eine manuelle Datenerfassung kann mühsam und zeitaufwändig sein. In diesem Fall greifen Scraper in der Regel auf Proxys zurück, um den Prozess zu beschleunigen und die Beschränkungen zu umgehen, die auf sie zukommen. Proxyscrape bietet Proxys mit hoher Bandbreite, die in der Lage sind, unbegrenzt Daten zu scrapen und rund um die Uhr zu arbeiten, um eine ununterbrochene Funktionalität zu gewährleisten. Der Anonymitätsgrad des Proxys ist hoch genug, um die Identität der Scraper zu verbergen.
Die Erstellung einer potenziellen Kontaktliste mit qualifizierten E-Mail-Adressen erleichtert die Ansprache der Zielgruppe. Da die meisten Menschen E-Mail als Kommunikationsmedium nutzen, ist es einfacher, sie über E-Mail-Adressen zu erreichen.
Beim Scrapen von E-Mail-Adressen aus verschiedenen Quellen können Scraper auf einige Herausforderungen wie IP-Sperren oder geografische Barrieren stoßen. In diesem Fall verbergen Proxys die Adressen der Nutzer mit der Proxy-Adresse und beseitigen die Blockaden beim Zugriff auf gesperrte Websites.
Es ist immer legal, öffentlich zugängliche Daten zu sammeln. Scraper müssen also sicherstellen, dass die Daten, die sie sammeln, öffentlich zugänglich sind. Ist dies nicht der Fall, können sie Daten mit vorheriger Genehmigung sammeln, um die Legalität des Scrappings zu wahren.
In diesem Artikel haben wir ein weiteres Wunder des Web Scraping erforscht, indem wir ein praktisches Beispiel für das Scraping von E-Mail-Adressen gezeigt haben. Wir haben den intelligentesten Ansatz ausprobiert, indem wir unseren Web-Crawler mit Python erstellt haben, und zwar mit der einfachsten und dennoch leistungsfähigsten Bibliothek namens BeautfulSoup. Web Scraping kann eine große Hilfe sein, wenn man es richtig macht und die Anforderungen berücksichtigt. Obwohl wir einen sehr einfachen Code für das Scraping von E-Mail-Adressen geschrieben haben, ist er völlig kostenlos, und Sie müssen sich auch nicht auf andere Dienste verlassen. Ich habe mein Bestes gegeben, um den Code so weit wie möglich zu vereinfachen und auch Raum für Anpassungen zu lassen, damit Sie ihn entsprechend Ihren eigenen Anforderungen optimieren können.