Menschen können leicht Informationen aus verschiedenen Quellen wie Facebook, Reddit und Twitter sammeln und auslesen. Ein Scraper ist ein spezialisiertes Tool, das Daten aus einer Webseite genau und schnell extrahiert. Die Scraping-APIs helfen den Scrapern, das Verbot von Anti-Scraping-Techniken zu vermeiden, die von den Websites eingesetzt werden. Allerdings ist die Verwendung von APIs im Vergleich zu einem selbst verwalteten Proxy-Tool teuer.
Reddit hat eine API namens Python Reddit API Wrapper, abgekürzt PRAW, um Daten zu crawlen. In diesem Blog zeige ich Ihnen, wie Sie Reddit mit Python crawlen können. Aber vorher müssen Sie wissen, warum Sie Reddit scrapen müssen.
Wenn wir über den Aufbau von Reddit sprechen, dann ist es in mehrere Gemeinschaften unterteilt, die als "Subreddits" bekannt sind. Sie können jeden Subreddit zu Ihrem Thema im Internet finden. Die Sozialforscher führen Analysen durch, ziehen Schlüsse und setzen umsetzbare Pläne um, wenn sie Reddit-Diskussionen zu einem bestimmten Thema extrahieren.
Sie können viele Datenpunkte von Reddit abrufen, z. B.:
Sie können alle Informationen von Reddit abrufen, die für Ihr Unternehmen relevant sind, weil Sie die folgenden Anforderungen erfüllen:
Zum Beispiel,
Beim Reddit-Scraping werden Web-Scraper (Computerprogramme) verwendet, um öffentlich verfügbare Daten von der Reddit-Website zu extrahieren. Sie müssen die Reddit-Scraper verwenden, weil Sie bei der Verwendung der offiziellen Reddit-API mit Einschränkungen konfrontiert werden. Wenn Sie jedoch einen Web Scraper verwenden, der nicht die Reddit-API verwendet, um Daten von Reddit zu extrahieren, verstoßen Sie gegen die Reddit-Nutzungsbedingungen. Das bedeutet aber nicht, dass Web Scraping illegal ist.
Um eine reibungslose Scraping-Sitzung zu haben, müssen Sie die von Reddit eingerichteten Anti-Scraping-Systeme umgehen. Die gängigsten Anti-Scraping-Techniken, die von Reddit verwendet werden, sind:
Sie können das Problem der IP-Verfolgung mit Hilfe von Proxies und IP-Rotation lösen. Andererseits können Sie das Problem der Captchas lösen, indem Sie Captcha-Lösungen wie 2Captcha verwenden.
Es gibt fünf Möglichkeiten, Reddit zu scrapen, und das sind:
Sehen wir uns an, wie wir Reddit mithilfe der Reddit-API mit Hilfe der folgenden Schritte scrapen können.
Zunächst importieren wir die in Pandas eingebauten Module, z. B. datetime, und zwei Module von Drittanbietern, PRAW und Pandas, wie unten gezeigt:
importieren Sie praw
importiere pandas als pd
import datetime as dtSie können auf die Reddit-Daten mit Praw zugreifen, was für Python Reddit API Wrapper steht. Zunächst müssen Sie eine Verbindung zu Reddit herstellen, indem Sie die Funktion praw.Reddit aufrufen und sie in einer Variablen speichern. Danach müssen Sie die folgenden Argumente an die Funktion übergeben.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS ', \
user_agent='IHR_APP_NAME', \
username='IHR_REDDIT_USER_NAME', \
password='IHR_REDDIT_LOGIN_PASSWORT')subreddit = reddit.subreddit('Nootropics')Jeder Subreddit hat die folgenden fünf verschiedenen Möglichkeiten, die von Redditoren erstellten Themen zu organisieren:
Sie können die am meisten hochgestimmten Themen als:
top_subreddit = subreddit.top()Sie erhalten ein listenähnliches Objekt mit den 100 besten Beiträgen in r/Nootropics. Reddits Anfrage-Limit liegt jedoch bei 1000, daher können Sie die Stichprobengröße steuern, indem Sie ein Limit an .top as übergeben:
top_subreddit = subreddit.top(limit=600)Sie können alle Daten abrufen, die Sie wollen. Wir werden jedoch die folgenden Informationen zu den Themen abrufen:
Dazu speichern wir unsere Daten in einem Wörterbuch und verwenden dann eine for-Schleife wie unten gezeigt.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Jetzt können wir die Daten von der Reddit-API abrufen. Wir werden die Informationen an unser Wörterbuch anhängen, indem wir unser top_subreddit-Objekt durchlaufen.
for submission in top_subreddit:
topics_dict["id"].append(beitrag.id)
topics_dict["title"].append(eintrag.title)
topics_dict["score"].append(eintrag.score)
topics_dict["created"].append(Vorlage.created)
topics_dict["body"].append(einreichung.selftext)Nun packen wir unsere Daten in Pandas Dataframes, da Python-Dictionaries nicht einfach zu lesen sind.
topics_data = pd.DataFrame(topics_dict)Es ist sehr einfach, in Pandas Datendateien in verschiedenen Formaten zu erstellen. Daher verwenden wir die folgenden Codezeilen, um unsere Daten in eine CSV-Datei zu exportieren.
topics_data.to_csv('FILENAME.csv', index=False)Sie wissen, dass Reddit keine sehr strenge Website ist, wenn es um Proxy-Nutzungsbeschränkungen geht. Aber Sie können erwischt und bestraft werden, wenn Sie Ihre Aktionen auf Reddit ohne Proxys automatisieren.
Sehen wir uns also einige der besten Proxys für Reddit an, die in zwei Kategorien fallen:
Im Folgenden finden Sie einige der besten Proxys für Reddit für Privatanwender und Rechenzentren.
ProxyScrape bietet seinen Nutzern drei Arten von Diensten an, d.h.,
Sie benötigen Proxys, wenn Sie mit einigen automatischen Tools auf Reddit arbeiten. Das liegt daran, dass Reddit eine sehr sensible Website ist, die automatische Aktionen leicht erkennt und Ihre IP-Adresse für den Zugriff auf die Plattform sperrt. Wenn Sie also einige Aufgaben wie Abstimmungen, Beiträge, Beitritt zu/aus Gruppen und die Verwaltung von mehr als einem Konto automatisieren, müssen Sie definitiv Proxys verwenden, um schlechte Ergebnisse zu vermeiden.
Sie können sich für manuelles Scraping entscheiden, wenn Ihre Reddit-Scraping-Anforderungen gering sind. Wenn die Anforderungen jedoch groß sind, müssen Sie auf automatisierte Scraping-Methoden wie Web-Scraping-Tools und benutzerdefinierte Skripte zurückgreifen. Die Web Scraper erweisen sich als kosten- und ressourceneffizient, wenn Ihr täglicher Scraping-Bedarf unter ein paar Millionen Beiträgen liegt.
Schauen wir uns also einige der besten Reddit Scraper als beste Lösung an, um große Mengen an Reddit-Daten zu scrapen.