Python istekleri ile proxy hakkında daha fazla bilgi edinmek için herhangi bir bölüme atlamaktan çekinmeyin!
Proxy'yi python requests kütüphanesi ile entegre etmek Python ile çalışabilmeyi gerektirir.
pip yükleme istekleri
Python requests ile proxy eklemek için 5 basit adım vardır. Bu adımlar gerekli paketlerin kurulmasından, proxy adreslerinin eklenmesine ve Python modüllerinin Requests metotları ile istek gönderilmesine kadar kilit noktaları içeriyor.
Bu 5 adım, adım adım bir kılavuz aracılığıyla ayrıntılı olarak ele alınmaktadır. Python istekleri ile proxy ekleme ve mevcut parametreler ve işlevleri aşağıda tartışılmaktadır.
Python requests ile çalışmanın birincil gerekliliği requests modülünü içe aktarmaktır.
i̇thalat talepleri̇Bu requests modülü python kodlamasını kullanarak HTTP istekleri göndermekten sorumludur. Şimdi bu python isteklerine proxy'leri dahil etmek için kullanıcıların 'proxies' adında bir sözlük tanımlamaları gerekir. Bu sözlük isim olarak 'HTTP protokollerini' ve isimlerin değeri olarak 'proxy URL'lerini' içerir. Bu proxy sözlüğü bir HTTP bağlantısı kurulmasına yardımcı olur.
proxies = {'https': /, 'http://webproxy.to/ ''}Bir sonraki adım, kazıma işleminin kaynağı olan web sitesini tanımlamak için 'URL' adlı bir değişken oluşturmaktır.
Bir sonraki adım, 'URL' ve proxy değişkenlerini geçirerek isteği işlemek için bir 'yanıt' değişkeni tanımlamaktır.
yanıt = requests.get(url)Kullanıcılar ayrıca talebin başarılı olup olmadığını görmek için 'durum kodunu' yazdırabilir.
print(f’Status Code: {response.status_code}') import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f'Status Code: {response.status_code}')Kullanıcılar 'kullanıcı adı' ve 'parola' parametrelerini ekleyerek proxy kimlik doğrulamasını dahil edebilirler.
response = requests.get(url, auth=('user', 'pass'))import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, auth=('user','pass'))Bu oturum nesnesi çerezlere benzer. Birden fazla isteğin kullanıcıya özel verilerini kaydeder. Kullanıcılar, istek kütüphanesinin oturum işlevini çağırarak oturum nesnelerini dahil edebilir.
requests.session()import requests
session = requests.Session()
session.proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f’Status Code: {response.status_code}') HTTP isteklerinin "zaman aşımı" parametresi, kullanıcıların istekleri işlemek için maksimum bir zaman sınırı belirlemelerine olanak tanır. Bu süre, sunucuya bir yanıt için ne kadar beklemesi gerektiğini söyler. Kullanıcılar bu parametreyi HTTP istekleri fonksiyonuna aktarabilir.
response = requests.get('url', timeout=5))Kullanıcılar, uzak sunucu yavaşsa ve sistemin uzun süre beklemesi gerekiyorsa zaman aşımı değerini "Yok" olarak da atayabilir.
response = requests.get('url', timeout=none))import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, timeout=5)
print(f’Status Code: {response.status_code}') İnsanlar aynı proxy'yi birçok kez kullanabilir. Proxy URL'sini tekrar tekrar yazmak yerine, bir çevresel değişken seçeneğine sahiptirler. Bu seçenekle, insanlar bir çevresel değişkene bir proxy URL'si atayabilir ve gerektiğinde sadece bu değişkeni kullanabilirler.
export HTTP_PROXY='http://webproxy.t'Sunucuya bir JSON göndermek python-requests ile de mümkündür. Bu durumda, python requests yöntemli proxy ilk parametre olarak URL'yi ve ikinci parametre olarak JSON'u alır. Sözlüğü python dizelerine dönüştürür.
import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.post(url, json={
"ID": 123,
"Name": "John"))
})
print(f’Status Code: {response.status_code}, Response: {r.json()}") İnsanlar ayrıca anonimliği artırmak için proxy'leri rotasyona tabi tutabilirler. Tüm siteler için uzun süre aynı proxy'yi kullanmak, İnternet Servis Sağlayıcılarının proxy adresinizi izlemesine ve yasaklamasına yardımcı olabilir. İnsanlar bu IP yasaklarıyla başa çıkmak için dönüşümlü bir modelde birden fazla proxy sunucusu kullanmayı tercih ediyor. Bir proxy havuzları vardır ve sistem dönüşümlü olarak havuzdan yeni bir proxy atar.
Proxy'yi python istekleri ile döndürmenin ilk adımı, requests, Beautiful soap ve choice gibi gerekli kütüphaneleri içe aktarmaktır.
Bu rotasyonel proxy'yi python-requests ile kullanmak için, bunları veya URL'lerini kullanmak üzere yapılandırmamız gerekir. Proxyscrape tüm kategorilerde ücretli ve ücretsiz proxy'ler sağlar. İnsanlar her türden ve konumdan konut, veri merkezli ve özel proxy'leri kullanabilir.
ipaddresses = [" proxyscrape.com:2000", "proxyscrape.com:2010", "proxyscrape.com:2100", "proxyscrape.com 2500"]Daha sonra kullanıcıların istek türü, URL ve **kwargs gibi üç parametreye sahip bir 'proxy isteği' yöntemi oluşturması gerekir.
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):Bu 'proxy isteği' yöntemi içinde, proxy istek yöntemleri için proxy sözlüğünü bir yanıt olarak döndürün. Burada, kwargs değerleri iletmek için bir argümandır.
Bu yöntem, çıkarılan yanıtı proxy çıkarma işlemini kolaylaştıran bir Beautiful Soap nesnesine dönüştürmek için belirli bir URL'den proxy adreslerini çıkarır.
random.radint(0,len(ipaddresses)-1)Ardından, 'soap' nesne proxy'leri listesinden rastgele bir proxy adresi oluşturmak için 'soap' kütüphanesini kullanan bir 'proxy' değişkeni oluşturun.
proxy = random.radint(0,len(ipaddresses)-1)proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
print(currentproxy:{proxy[‘https’]}”)
import requests
import BeautifulSoap
import choice
ipaddresses = [“ proxyscrape.com:2000”, “proxyscrape.com:2010 ”, “proxyscrape.com:2100 ”, “proxyscrape.com 2500”]
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):
while True:
proxy = random.radint(0,len(ipaddresses)-1)
proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
print(currentproxy:{proxy[‘https’]}”)
break
return responseBu makalede, python programlama dilinde HTTP isteklerinin yanı sıra HTTP isteği göndermek için gerekli kütüphaneler, modüller ve fonksiyonlar ele alınmıştır. İstek modülünü içe aktarabilir ve gereksinimlerinize göre GET, POST, PATCH ve PUT yöntemlerini kullanabilirsiniz. Anonimlik, hız ve kazıma yetenekleri gibi proxy özelliklerinden yararlanmak istiyorsanız python'daki proxy'ye odaklanabilirsiniz. Kullanıcılar ayrıca proxy havuzlarını kullanabilir ve güvenliği artırmak için bir proxy isteği ile dönüşümlü olarak proxy atayabilir.