Bir proxy kullandığınızda, hedef sunucuya doğrudan bağlanmazsınız; bunun yerine, isteğinizi değerlendiren ve bir yanıt döndüren proxy sunucusuna yönlendirirsiniz. Proxy'lerin gerçek IP adreslerinizi gizlemek, filtreleri, sansürü vb. atlamak gibi birçok faydası vardır.
Bir proxy döndürücü, kazıma karşıtı önlemlerin çoğunu aşmanıza yardımcı olabilir. Ayrıca, hedef web sitesinde uygulanan herhangi bir hız sınırını atlatmak ve verileri başarıyla çıkarmak için de kullanabilirsiniz. Peki dönen proxy nedir? Proxy havuzundan gelen her bağlantı için yeni bir IP adresi atayan bir proxy'dir. Bu, bir komut dosyası başlatarak ve 1000 farklı IP adresi alarak istediğiniz sayıda web sitesine 1000 istek gönderebileceğiniz anlamına gelir.
Bu makale, python'da IP adreslerini döndürmek için proxy'lerin nasıl kullanılacağını anlamanıza yardımcı olur.
Aşağıdaki komutu kullanarak Python'un requests modülünü içe aktarmalısınız.
i̇thalat talepleri̇Modül ortamınızda yüklü değilse, aşağıdaki komutu kullanarak yükleyebilirsiniz.
!pip install requestsdef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passİşte kodun ana bölümü geliyor. List_proxy.txt dosyanızı okumalı ve aşağıda gösterildiği gibi proxies adlı değişkene kaydetmelisiniz.
if __name__ == "__main__":
ile open('list_proxy.txt', 'r') as file:
proxies = file.readlines()Python'da bir oturum oluşturmak için requests modülünü kullanmanız gerekir. Aşağıdaki kodda proxy üzerinden döngü yapmak için bir for döngüsü kullandık. Daha sonra oturumu ve proxy'yi send_request fonksiyonuna aktardık.
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Komut dosyasını çalıştırabilir ve aşağıda gösterildiği gibi çıktıyı görebilirsiniz. Uzun bir proxy listesi alacaksınız ancak unutmayın, bunlar çalışmayacaktır.
python rotateproxy.pyTüm kodunuz şu şekilde olacaktır:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Aşağıda, dönen bir proxy kullanırken Python'da proxy'leri döndürmek için bazı ipuçları verilmiştir.
Mevcut ücretsiz proxy hizmetlerinin çoğu sıkışıktır, bu da beklenmedik çökmelere ve sinir bozucu gecikmelere neden olur. Bu nedenle, ücretsiz proxy'lere gitmeyi planladığınızda, önemli bir düşüşe neden olmadan kazıma ihtiyaçlarınızı karşılayıp karşılamadıklarını kontrol etmeniz gerekir.
Çoğu ücretsiz proxy sınırlı bir süre için geçerlidir, bu nedenle Python'da ücretsiz proxy listesi rotatörünü çalışan IP adresleriyle döndürebilen kendi mantığınızı oluşturabilirsiniz. Bu şekilde, web kazıma sırasında herhangi bir kesinti yaşamazsınız.
Aynı gruba ait olmak gibi belirli bir sırayı veya öngörülebilir bir formatı takip eden IP adreslerini kullanmaktan kaçınmalısınız. Çünkü çoğu kazıma önleme aracı bu tür IP adreslerinden gönderilen talepleri kolayca tespit edebilir. Örneğin, aşağıdaki dönen IP adresleri dizisini kullanmaktan kaçınmalısınız çünkü bu, kırmızı bayrağı hızla yükseltecektir.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Ücretsiz proxy IP döndürücüler güvensiz ve yavaştır. Bu nedenle, gelişmiş ve büyük ölçekli web kazıma projeleri gerçekleştiriyorsanız bunları kullanmak uygun olmayacaktır. İyi premium proxy'ler kullanarak, yüksek kaliteli bir hizmet alabilir ve engelleme veya kesinti yaşamadan binlerce web sayfasını kazıyabilirsiniz.
Premium bir proxy hizmeti kullanmak için birkaç dolar ödemeniz ve veri çıkarma ihtiyaçlarınızı karşılayacak ve gizliliğinizi garanti edecek bir sağlayıcı almanız gerekecektir.
Aşağıda internetteki üç ana proxy kategorisi verilmiştir.
Birden fazla IP adresini döndürmek ve tespit edilmekten kaçınmak için IP rotasyonunu kullanabilirsiniz. Ancak, bazı kazıma karşıtı önlemler bu tür faaliyetleri tespit edebilir ve veri toplamanızı engelleyebilir. Bu nedenle, başarı şansınızı artırmak için IP adreslerini döndürmenin yanı sıra kullanıcı aracılarını da döndürmeniz gerekir.