Web scraping or web data extraction is an automated process of collecting data from a website. Businesses use web scraping to benefit themselves by making smarter decisions from the vast amount of publicly available data. They can extract data in an organized form so that it can be easier to analyze. Web scraping has many
Web kazıma veya web veri çıkarma, bir web sitesinden veri toplamaya yönelik otomatik bir süreçtir. İşletmeler, kamuya açık çok sayıda veriden daha akıllı kararlar alarak kendilerine fayda sağlamak için web kazıma yöntemini kullanır. Verileri organize bir biçimde çıkarabilirler, böylece analiz etmek daha kolay olabilir. Web kazımanın birçok uygulaması vardır. Örneğin, E-ticaret dünyasında rakiplerin fiyatlarını izlemek için kullanılabilir. İşletmeler, rakiplerinin ürün ve hizmetlerinin fiyatlarını kontrol ederek fiyat stratejilerine ince ayar yapabilir ve bu sayede bir adım önde olabilirler. Ayrıca, pazar araştırma kuruluşları geri bildirimleri ve çevrimiçi ürün incelemelerini takip ederek müşteri duyarlılığını ölçebilir.
Genel olarak, web kazıma işlemi aşağıdaki adımları içerir.
Aşağıda web kazıma işleminin kullanım alanlarından bazıları verilmiştir.
Pazar Araştırması - Pazar araştırması çok önemlidir ve mevcut en doğru verilerle yönlendirilmesi gerekir. Kuruluşlar, yüksek hacimli, yüksek kaliteli ve yüksek anlayışlı web kazıma verilerine sahiplerse, uygun pazar araştırması yapabilir ve müşteri duyarlılığını ölçebilirler. Pazar analistleri web kazıma ile aşağıdaki görevleri yerine getirebilir.
Emlak - Emlakçılar, web'den kazınmış verileri günlük işlerine dahil ederek pazarda bilinçli kararlar verebilirler. Farklı web sitelerinden kazınmış verileri kullanarak aşağıdaki görevleri yerine getirirler.
İçerik ve Haber İzleme - Bir şirket sık sık haberlerde yer alıyorsa veya zamanında haber analizine bağlıysa, web kazıma, sektördeki kritik hikayeleri izlemek, toplamak ve ayrıştırmak için nihai çözümdür. Kuruluşlar web kazımayı aşağıdakiler için kullanabilir.
Minimum Reklamı Yapılan Fiyat (MAP) İzleme - MAP izleme, markaların çevrimiçi fiyatlarının fiyatlandırma politikalarıyla uyumlu olmasını sağlar. Çok sayıda satıcı ve distribütör olduğu için fiyatları manuel olarak izlemek imkansızdır. Bu nedenle, ürünlerin fiyatlarını takip etmek için otomatik web kazıma işlemini kullanabilirsiniz.
Verileri kazırken web sitesi işlevine zarar verebileceğiniz için verileri web'den dikkatlice çıkarmanız gerekir. Bu nedenle, web kazıma ile ilgili tüm yapılması gerekenlerin farkında olmalısınız.
Kendini Tanımlama - Web'den veri kazırken kendinizi tanımlamak harika bir uygulamadır. Tanımlama kuralına uymazsanız hedef web sitesi web tarayıcınızı engelleyebilir. İletişim bilgilerinizi tarayıcının başlığına koymanız gerekir. Sistem yöneticileri veya web yöneticileri, tarayıcının bilgilerine kolayca erişebilir ve tarayıcınızın karşılaştığı herhangi bir sorunu size bildirebilir.
IP Rotasyonu - Birçok web sitesi, web sitelerini kötü niyetli saldırılardan korumak için kazıma karşıtı mekanizmalar kullanmaktadır. Web kazımanın temel mekanizmasını bilmiyorsanız, web siteleri tarafından anında engellenebilirsiniz. Web sitesi, her istek için aynı IP'yi kullanırsanız da sizi engelleyebilir. Bu nedenle, hedef web sitesine birden fazla istek göndermek için yeni IP kullanmanız gerekir. Bu amaçla, kimliğinizi web sitesi sahiplerinden gizledikleri ve size bir IP adresi havuzu atadıkları için proxy'leri kullanabilirsiniz. Böylece, engellenmeden veya yasaklanmadan farklı IP adresleri kullanarak web sitesine birden fazla istek gönderebilirsiniz.
Robots.txt dosyasının incelenmesi - Web kazıma yapmak istiyorsanız, robots.txt dosyasını yakından incelemeniz gerekir. Robots.txt, arama motorlarının botları kullanarak hangi dosyaları tarayabileceklerini ve tarayamayacaklarını bilmelerini sağlayan bir dosyadır. Hemen hemen her web sitesi bu dosyaya sahiptir, bu nedenle web kazıma kurallarını bu dosyadan edinebilirsiniz. Robots.txt dosyası, saniyede gönderilebilecek istek sayısı ve ziyaret edilebilecek sayfalarla ilgili önemli bilgiler içerir.
CSS Kancaları - Web sayfalarındaki HTML öğelerini bulmak ve bunlardan veri toplamak için CSS seçicilerini kullanabilirsiniz. Bir öğeyi seçtiğinizde, web kazıyıcı seçilen öğeler için CSS seçicisini tahmin etmeye çalışacaktır. JQuery'de bulunan CSS seçicilerini ve CSS sürüm 1-4'te (tarayıcı tarafından desteklenen) bulunanları kullanabilirsiniz.
Web kazımada yapılmaması gerekenler aşağıda verilmiştir.
Web Sitesine Yük Olmayın - Verileri kazıyacağınız web sitesine zarar vermemelisiniz. Bazen, isteklerin sıklığı ve hacmi web sunucusuna yük getirebilir. Tek bir IP kullanarak hedef web sitesinden verilere erişmeyi deneyebilirsiniz; verilere birden fazla sayfadan erişmek istiyorsanız, size farklı IP adresleri sağlayabilen proxy'ler kullanabilirsiniz.
Genel Veri Koruma Yönetmeliğini İhlal Etmeyin - GDPR'yi ihlal ederek AB vatandaşlarının verilerini çıkaramazsınız çünkü bu yasa dışıdır. GDPR'nin yürürlüğe girmesiyle birlikte, AB vatandaşlarının kazınmış verileri tamamen değişmiş ve değiştirilmiştir. Verileri tanımlayabilecek değerli değişkenler isim, numara, yaş, e-posta, iletişim, IP adresi vb.
Şüpheli Teknikler Kullanmayın - Birkaç fare tıklamasıyla bir web sitesinin tüm güvenlik protokollerini atlamak için milyonlarca İnternet aracı ve hilesi kullanabilirsiniz. Ancak web yöneticileri hilelerinizi kolayca tespit edebilir ve çoğu zaman hilelerinizden kaçınarak sizi kandırırlar. Web sitelerine zarar verebilecek herhangi bir etkinlik fark ederlerse sizi engelleyebilirler. Bu nedenle, hedef web sitesinin itibarını koruyan araç ve hizmetlere bağlı kalmanız gerekir.
Siteyi Çekiçlemeyin - Bir web sitesindeki canlı değişiklikleri tespit etmek ile Hizmet Reddi (DOS) saldırısı gerçekleştirmek arasında büyük bir fark vardır. Bir web kazıyıcı olarak, istekler arasında hafif bir gecikme yaşayacağınızı bilmeniz gerekir. Web sitesi düzenli isteklerinizi tespit edecek ve bir IDS altyapısına sahipse IP'nizi engelleyecektir.
Proxy'lerin, isteği gönderen istemci ile isteği alan sunucu arasında aracı veya üçüncü taraf sunucu olarak hareket ettiğini biliyorsunuz. Verileri verimli bir şekilde çıkardıkları ve engellenme olasılığını azalttıkları için web kazıma için gereklidirler. Proxy'ler size bir dizi IP adresi sağlar, böylece yasaklanmadan farklı IP adresleri kullanarak hedef web sitesine birden fazla istek gönderebilirsiniz. Proxy'leri kullanarak web sitelerinin coğrafi olarak kısıtlanmış içeriğine de erişebilirsiniz.
Kısacası, proxy'ler aşağıdaki iki nedenden dolayı web kazıma için kullanışlıdır.
Web kazıma için aşağıdaki farklı proxy türlerini seçebilirsiniz.
Datacenter IP'leri - Bunlar veri merkezlerinde barındırılan sunucu IP adresleridir.
Konut IP'leri - Veri merkezi IP'lerinden daha pahalıdırlar ve özel hanelerin IP adresleridir. Talebinizi bir konut ağı üzerinden iletmek için bunları kullanabilirsiniz.
Mobil IP'ler - Bunlar özel mobil cihazların IP'leridir. Mobil IP adreslerinin maliyeti diğer IP'lere kıyasla çok yüksektir.
Aşağıdaki adımların yardımıyla proxy'lerinizi mevcut web kazıma yazılımına entegre edebilirsiniz.
İlk adım basittir çünkü yalnızca Python'un requests modülünü içe aktarmanız ve proxy bağlantı URL'sini iletmeniz gerekir. Ardından, aşağıdaki adımlarda gösterildiği gibi hedef web sitesine get isteği göndermeniz gerekir.
import requests
proxies = {'http': 'http://user:[email protected]:3128/'}
requests.get('http://example.org', proxies=proxies)İkinci adım biraz karmaşıktır ve belirli bir zamanda ne kadar paralel işlem yaptığınıza ve hedef web sitesinin hız sınırıyla ne kadar marj tutmak istediğinize bağlıdır.
Web kazıma ile, ihtiyaçlarınıza göre kullanmak için üçüncü taraf bir web sitesinden veri toplayabilirsiniz. Arama motoru sonuç optimizasyonu, E-ticaret fiyat takibi, potansiyel müşteri oluşturma ve haber toplama için süper güçlüdür. Web kazıma, bir web sitesinden veri toplarken belirli yapılması ve yapılmaması gerekenlere dikkat etmeniz gerektiğinden o kadar basit değildir. Verileri bir web sitesinden siteye zarar vermeyecek veya verilerini değiştirmeyecek şekilde çıkarmanız gerekir. Proxy 'ler, kimliğinizi gizledikleri ve yasaklanmanızı veya engellenmenizi önledikleri için web sitelerinden veri almak için oldukça yararlıdır. İhtiyaçlarınıza göre bir konut proxy'si veya bir veri merkezi proxy'si kullanabilirsiniz.