Python Kullanarak Reddit Nasıl Kazınır

İnsanlar Facebook, Reddit ve Twitter gibi birden fazla kaynaktan kolayca bilgi toplayabilir ve kazıyabilir. Bir kazıyıcıyı, bir web sayfasından doğru ve hızlı bir şekilde veri çıkaran özel bir araç olarak düşünebilirsiniz. Kazıma API'leri, kazıyıcıların web sitelerinin yerleştirdiği kazıma karşıtı teknikler tarafından yasaklanmasını önlemeye yardımcı olur. Ancak API'leri kullanmak, kendi yönettiğiniz bir proxy aracına kıyasla pahalıdır.

Reddit, verileri taramak için PRAW için kısaltılmış Python Reddit API Wrapper adlı bir API'ye sahiptir. Bu blogda, size python kullanarak Reddit'i nasıl kazıyacağınıza dair adımları göstereceğim. Ancak bundan önce, Reddit'i neden kazımanız gerektiğini bilmeniz gerekir.

Reddit'in tasarımı hakkında konuşursak, "subreddit" olarak bilinen çeşitli topluluklara ayrılmıştır. İlgilendiğiniz konuyla ilgili herhangi bir alt dizini internette bulabilirsiniz. Sosyal araştırmacılar, belirli bir konu için Reddit tartışmalarını çıkardıklarında analiz yapar, çıkarımlarda bulunur ve eyleme geçirilebilir planlar uygular. 

Reddit'ten aşağıdaki gibi birçok veri noktasını kazıyabilirsiniz:

Aşağıdaki ihtiyaçlar nedeniyle Reddit'ten işinizle ilgili herhangi bir bilgiyi kazıyabilirsiniz:

Mesela, 

Reddit kazıma, Reddit web sitesinden halka açık verileri çıkarmak için web kazıyıcıları (bilgisayar programları) kullanır. Resmi Reddit API'sini kullanırken karşılaşacağınız sınırlamalar nedeniyle Reddit kazıyıcılarını kullanmanız gerekir. Bununla birlikte, Reddit'ten veri çıkarmak için Reddit API'sini kullanmayan web kazıyıcı kullanırsanız, Reddit kullanım koşullarını ihlal etmiş olursunuz. Ancak bu, web kazımanın yasa dışı olduğu anlamına gelmez.

Sorunsuz bir kazıma oturumu geçirmek için Reddit tarafından uygulanan kazıma önleyici sistemlerden kaçınmanız gerekecektir. Reddit tarafından kullanılan en yaygın kazıma önleme teknikleri şunlardır:

IP takibi sorununu proxyler ve IP rotasyonu yardımıyla çözebilirsiniz. Captcha sorununu ise 2Captcha gibi Captcha çözücüleri kullanarak çözebilirsiniz.

Reddit'i kazımanın beş yolu vardır ve bunlar:

Aşağıdaki adımların yardımıyla Reddit API'sini kullanarak Reddit'i nasıl kazıyabileceğimizi görelim.

İlk olarak, Pandas'ın yerleşik modüllerini, yani datetime'ı ve iki üçüncü taraf modülü olan PRAW ve Pandas'ı aşağıda gösterildiği gibi içe aktaracağız:

import praw
import pandas as pd
import datetime as dt

Python Reddit API Wrapper anlamına gelen Praw'ı kullanarak Reddit verilerine erişebilirsiniz. İlk olarak, praw.Reddit fonksiyonunu çağırarak ve bir değişkende saklayarak Reddit'e bağlanmanız gerekir. Daha sonra, aşağıdaki argümanları fonksiyona aktarmanız gerekir.

reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
                    client_secret='SECRET_KEY_27_CHARS ', \
                    user_agent='YOUR_APP_NAME', \
                    username='YOUR_REDDIT_USER_NAME', \
                    password='YOUR_REDDIT_LOGIN_PASSWORD')

subreddit = reddit.subreddit('Nootropics')

Her subreddit, Redditçiler tarafından oluşturulan konuları organize etmek için aşağıdaki beş farklı yola sahiptir:

En çok oy alan konuları şu şekilde yakalayabilirsiniz:

top_subreddit = subreddit.top()

r/Nootropics'teki en iyi 100 gönderimi içeren liste benzeri bir nesne elde edeceksiniz. Bununla birlikte, Reddit'in istek sınırı 1000'dir, bu nedenle .top as'a bir sınır geçerek örnek boyutunu kontrol edebilirsiniz:

top_subreddit = subreddit.top(limit=600)

İstediğiniz herhangi bir veriyi kazıyabilirsiniz. Ancak biz konularla ilgili aşağıdaki bilgileri kazıyacağız:

Bunu, verilerimizi bir sözlükte depolayarak ve ardından aşağıda gösterildiği gibi bir for döngüsü kullanarak yapacağız.

topics_dict = { "title":[], \
                "score":[], \
                "id":[], "url":[], \
                "created": [], \
                "body":[]}

Şimdi, Reddit API'sinden verileri kazıyabiliriz. Bilgileri top_subreddit nesnemiz üzerinden yineleyerek sözlüğümüze ekleyeceğiz.

for submission in top_subreddit:
    topics_dict["id"].append(submission.id)
    topics_dict["title"].append(submission.title)
    topics_dict["score"].append(submission.score)
    topics_dict["created"].append(submission.created)
    topics_dict["body"].append(submission.selftext)

Şimdi, Python sözlüklerinin okunması kolay olmadığı için verilerimizi Pandas Dataframe'lerine koyuyoruz.

topics_data = pd.DataFrame(topics_dict)

Pandas'ta çeşitli formatlarda veri dosyaları oluşturmak çok kolaydır, bu nedenle verilerimizi bir CSV dosyasına aktarmak için aşağıdaki kod satırlarını kullanıyoruz.

topics_data.to_csv('FILENAME.csv', index=False)

Proxy kullanım kısıtlamaları söz konusu olduğunda Reddit'in çok katı bir web sitesi olmadığını biliyorsunuz. Ancak Reddit'teki işlemlerinizi proxy kullanmadan otomatikleştirirseniz yakalanabilir ve cezalandırılabilirsiniz. 

Şimdi, Reddit için iki kategoriye ayrılan en iyi proxy'lerden bazılarına bakalım:

Aşağıda Reddit için en iyi konut ve veri merkezi proxy'lerinden bazıları yer almaktadır.

ProxyScrape kullanıcılarına üç tür hizmet sunmaktadır, 

Reddit'te bazı otomatik araçlarla çalışırken proxy'lere ihtiyacınız vardır. Bunun nedeni, Reddit'in otomatik eylemleri kolayca algılayan ve IP'nizin platforma erişimini engelleyen çok hassas bir web sitesi olmasıdır. Dolayısıyla, oylar, gönderiler, gruplara katılma/ayrılma ve birden fazla hesabı yönetme gibi bazı görevleri otomatikleştiriyorsanız, kötü sonuçlardan kaçınmak için kesinlikle proxy kullanmanız gerekir.

Reddit kazıma gereksinimleriniz küçükse manuel kazıma yöntemini tercih edebilirsiniz. Ancak gereksinimler artarsa, web kazıma araçları ve özel komut dosyaları gibi otomatik kazıma metodolojilerinden yararlanmanız gerekir. Web kazıyıcılar, günlük kazıma gereksinimleriniz birkaç milyon gönderi içinde olduğunda maliyet ve kaynak açısından verimli olduğunu kanıtlar.

Öyleyse, büyük miktarda Reddit verisini kazımak için en iyi çözüm olarak en iyi Reddit kazıyıcılarından bazılarına bakalım.