cURL, istemci URL'sinin kısaltmasıdır ve bir sunucudan veri göndermek ve almak için kullanılan bir komut satırı aracıdır. Windows 10 ve Linux dağıtımları dahil olmak üzere modern İşletim Sistemlerine dağıtılır. Web sitelerine veri gönderip almanızı sağlayan kullanışlı bir kütüphanedir ve web kazıma ihtiyaçlarınız için hayati bir araçtır. Basit bir örneğe bakmadan önce, yüklemek için bilmeniz gerekenleri öğrenelim.
sudo apt curl yükleyin.
Windows'ta terminalinizi veya komut isteminizi açın ve şunu yazın:
<em><strong>curl https://www.yahoo.com</strong></em>Konsolda, sayfanın HTML'sini yazdıracaktır.
cURL, İnternet Protokolleri yardımıyla web sayfalarına ve web sayfalarından veri aktarır. Başlangıçta, cURL HTTP protokolleriyle çalışmak üzere geliştirilmiş olsa da, şu anda FTP, IMAP, IMAPS, SMTP, POP3, POP3S ve diğerleri gibi birçok ağ protokolünü desteklemektedir.
Ayrıca istek gönderirken POST, GET, PUT ve diğer bazı yöntemleri de destekler. Şimdi post verisi ile bazı verilerin gönderilmesine ilişkin bir örneğe bakalım.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"Yukarıdaki kod parçası -d, examplewebsite.com'un post sayfasına adınızı ve bazı değerleri iletmek için post yöntemini kullandığınızı gösterir.
Artık cURL'ün ne olduğunu biliyorsunuz ve şimdi proxy'lerle kullanımına geçelim.
cURL'ü bir proxy adresi ile yapılandırmak, insanların tüm bu proxy özellikleriyle veri iletişimlerini geliştirmelerine yardımcı olacaktır.
Bir proxy ile cURL kullanmak, kullanıcıların kimliklerini sunucudan gizleyebilmelerini sağlayacaktır. Kullanıcılar başkalarının gerçek kimliklerini bilmelerine izin vermeden bilgi almayı tercih ederlerse, cURL komut istekleriyle birlikte bir proxy adresi yapılandırabilirler. Bu durumda, proxy kullanıcının isteğini onun adına iletir ve gerçek kimliği gizlenir. Proxyscrape , HTTPs, Socks4 ve Socks5 gibi tüm protokol türleri için her tür istek için anonimliği koruyabilen proxy'ler sağlar
Bir konumdaki kullanıcıların diğer coğrafi sınırlardaki sitelerden içerik kazıması kısıtlandığında, proxy'ler bu kısıtlamaları aşmalarına yardımcı olacaktır. Proxyscrape , kullanıcıların coğrafi engelleri aşmak için gerekli olanı seçebilmeleri için birden fazla ülkenin proxy'lerini sunmaktadır.
cURL kullanarak bir web sitesine bağlanmak için proxy'leri kullanabilirsiniz. Örneğin, veri kazımak için cURL kullandığınız durumlarda proxy'ler çok önemlidir. Böylece kazıma yaptığınız hedef web sitesine karşı anonim kalırsınız.
Proxy'lerle bağlanmak için proxy sunucu adresi, port numarası ve protokol türüne ihtiyacınız olacaktır ve kimlik doğrulama gerekiyorsa kullanıcı adı ve şifreyi girmeniz gerekecektir. Basit bir örneğe bakalım: proxy adresinin 127.0.0.1 ve port numarasının 8920 olduğunu varsayıyoruz. Aşağıda belirtilen örnek, herhangi bir proxy hizmeti için çalışacak olan cURL ile bağlantı proxy'lerinin temelleridir.
Bir proxy'ye bağlanmak için sözdizimi şöyle olacaktır:
curl --proxy proxyaddress: port https://examplewebsite.comile değiştirirdi:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comYukarıdaki komut bağlantınızı bir proxy üzerinden examplewebsite.com adresine yönlendirecektir.
Şimdi kullanıcı adının kullanıcı adı ve parolanın parola olduğu kimlik doğrulama gerektiren bir örneği inceleyeceğiz.
curl --proxy 127.0.0.1:8920 -U "kullanıcı adı:şifre" https://examplewebsite.comArtık cURL'e bir proxy protokolü ile bağlanırken hangi komutları kullanacağınızı öğrenebilirsiniz:
curl --helpKuşkusuz çok büyük bir liste çıkacaktır ve biz aşağıda listelenen en temel komuta odaklanacağız:
-x, --proxy [protocol://]host[:port]Bu komutta x, -proxy ile birlikte proxy ayrıntılarını belirtir ve her ikisi de doğru olduğu için ikisinden birini kullanabilirsiniz. Ancak, x'in büyük/küçük harfe duyarlı olduğunu unutmayın.
Ayrıca, proxy kullandığınızdan emin olmak için aşağıdaki komutu kullanabilirsiniz:
curl http://httpbin.org/ipBu komut genellikle kaynağın IP adresini döndürür. Yani bir proxy sunucusu kullanıyorsanız, sizin IP adresiniz yerine proxy sunucusunun IP adresini döndürecektir.
Şimdi, hepsini bir araya getirerek, talebi aşağıdaki gibi gönderebilirsiniz:
kıvrıl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Ayrıca, aşağıdaki komut da yukarıdaki ile aynı olacaktır:
kıvrıl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Burada akılda tutulması gereken önemli bir husus, en iyi uygulama olarak hem proxy URL'si hem de hedef URL için tırnak işareti kullanmanız gerektiğidir. Bunun nedeni URL'de özel karakterlerin bulunmasıdır.
Ayrıca, herhangi bir SSL sertifikası hatası alırsanız, aşağıda gösterildiği gibi komutun sonuna küçük -k harfini eklemeniz gerekir:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Bu, SSL bağlantısı kullanılırken güvenli olmayan bağlantıların geçmesine izin verecektir.
Proxy'ler kullanılırken, aksi açıkça belirtilmedikçe varsayılan protokol HTTP'dir. Bu nedenle aşağıdaki komutların her ikisi de doğrudur:
curl --proxy "http://username:[email protected]:8920 " "http://httpbin.org/ip".
curl --proxy "kullanıcı adı:[email protected]:8920 " "http://httpbin.org/ip".Eğer cURL için bir proxy kullanmak isterseniz, aşağıdaki şekilde bir curl-config dosyası oluşturabilirsiniz.
Eğer macOS ya da Linux kullanıyorsanız, öncelikle terminali açmalı ve ev dizininize gitmelisiniz. Eğer bir .curlrc dosyası varsa, bu dosyayı açmanız ve yeni bir boş dosya oluşturmanız gerekir. Dosyaya gitmek için aşağıdaki komutları kullanabilirsiniz:
cd~
nano .curlrc.O zaman bu satırı dosyaya eklemeniz gerekir:
vekil="http://username:[email protected]:8920"Dosyayı kaydedin ve artık cURL'yi proxy'lerle kullanabilirsiniz. Basitçe cURL'yi normal olarak çalıştırmanız gerekir ve yukarıdaki dosyadan proxy'yi okuyacaktır:
kıvrıl "http://httpbin.org/ip"yankı %APPDATA%Bu yüzden yukarıdaki komut yolu döndürecektir ve oraya gitmeniz gerekir. Daha sonra _curlrc dosyası oluşturmanız ve proxy'yi macOS veya Linux ile aynı şekilde ayarlamanız gerekir.