Academic Research involves gathering heaps of data from various sources, regardless of whether your research is quantitative or qualitative. Due to the comprehensive nature of these online data, academic researchers would have to depend on technology to extract them. One such automated technique that we would explore in this article is web scraping. However, web
Akademik Araştırma, araştırmanızın nicel veya nitel olmasına bakılmaksızın, çeşitli kaynaklardan yığınla veri toplamayı içerir. Bu çevrimiçi verilerin kapsamlı doğası nedeniyle, akademik araştırmacıların bunları çıkarmak için teknolojiye güvenmeleri gerekecektir.
Bu makalede inceleyeceğimiz bu tür otomatik tekniklerden biri web kazıma yöntemidir. Ancak, web kazıma tek başına verimli sonuçlar vermeyecektir. Etik kaygılarla proxy'lere de güvenmeniz gerekecektir.
Ama önce, bu verilerin doğasını keşfedeceğiz.
Akademik araştırmalar için web üzerindeki veriler yapılandırılmış, yapılandırılmamış ve yarı yapılandırılmış nicel ve nitel verilerden oluşur. Bunlar bloglar, tweetler, e-postalar, veritabanları, web sayfaları, HTML tabloları, fotoğraflar, videolar vb. şeklinde web üzerinde dağılmış durumdadır.
Web'den bu kadar büyük miktarlarda veri çekerken, genellikle çeşitli teknik zorlukların üstesinden gelmeniz gerekir. Bu zorluklar, verilerin hacmi, çeşitliliği, doğruluğu ve hızından kaynaklanmaktadır. Şimdi bu değişkenlerin her birine bakalım:
Hacim-Veri hacmi söz konusu olduğunda, büyük miktarlar şeklinde oldukları için Zettabayt (milyarlarca gigabayt) cinsinden ölçülürler.
Çeşitlilik-İkinci olarak, bu verilerin depolandığı havuzlar veya veritabanları çeşitli formatlarda gelir ve birden fazla teknolojik ve düzenleyici standarda dayanır.
Hız -Üçüncü olarak, web'de bulunan veriler daha inanılmaz bir hızla üretildikleri için dinamiktir.
Doğruluk - Araştırma için kullanılabilir verilerin son özelliği verilerin doğruluğudur. Ücretsiz ve açık yapısı nedeniyle veriler web üzerinde anonim olarak etkileşime girdiğinden, hiçbir araştırmacı gerekli verilerin web üzerinde mevcut olup olmadığını teyit edemeyecek ve kalitesini doğrulayamayacaktır.
Yukarıdaki değişkenler nedeniyle, akademik araştırmacıların manuel olarak veri toplamaya başlaması pratik olmayacaktır. Bu nedenle, araştırma için veri toplamanın en yeni uygulaması web kazıma yöntemidir. Bunu bir sonraki bölümde inceleyeceğiz.
Yani web kazıma, akademik dergiler, araştırma forumları, akademik makaleler, veritabanları ve akademik araştırma için ihtiyaç duyduğunuz diğer kaynaklar gibi kaynaklardan web verilerinin daha fazla analiz için otomatik olarak çıkarılmasıdır.
Web kazıma aşağıdaki aşamalardan oluşur:
Bu, verilerin depolandığı bir varlığın altında yatan yapının araştırılması sürecidir. Bu varlık bir web sitesi veya Veritabanı gibi bir havuz olabilir. Bu araştırmanın amacı, ihtiyacınız olan verilerin nasıl depolandığını anlamaktır. Web mimarisini oluşturan yapı taşlarını anlamayı gerektirir; işaretleme dilleri için HTML, CSS, XML vb. ve web veritabanları için MySQL.
Web sitesi tarama, ihtiyacınız olan verileri çıkarmak için web sayfalarına göz atmak üzere Python gibi üst düzey programlama dillerini kullanarak otomatik komut dosyaları oluşturmaktır. Sıfırdan komut dosyası oluşturma veya önceden geliştirilmiş bir komut dosyası satın alma seçeneğiniz vardır.
Python, verilerin otomatik olarak taranması ve ayrıştırılması için Scrapy ve Beautiful Soap Library gibi kütüphaneler içerir. Bu makalede web tarama ve kazıma hakkında daha fazla bilgi bulabilirsiniz.
Tarama aracı bir web sitesinden veya depodan gerekli verileri topladıktan sonra, daha fazla analiz için bunları temizlemeniz, ön işlemden geçirmeniz ve düzenlemeniz gerekir. Bu nedenle zamandan tasarruf etmek için programatik bir yaklaşım gerekli olabilir. Bir kez daha, Python gibi programlama dilleri, verileri düzenlemenize ve temizlemenize yardımcı olan Doğal Dil İşleme (NLP) kütüphaneleri içerir.
Şimdiye kadar, tüm kazıma sürecini otomatikleştirmenin oldukça zor olduğunu fark etmiş olmalısınız. Bir dereceye kadar insan denetimi gerektirir.
Artık tüm web kazıma sürecine genel bir bakış kazandınız. Şimdi web kazımanın bazı etik yönlerine bakmanın zamanı geldi, çünkü kazıma yaparken neler yapabileceğinizin ve yapamayacağınızın farkında olmanız gerekir.
Otomatik tarama araçlarına sahip olmanız, her yeri kazıyabileceğiniz anlamına mı geliyor? Bir giriş sayfasının veya özel bir forumun arkasındaki araştırma verileri dahil mi?
Web kazıma ile ilgili yasalarda gri alanlar olsa da, normal bir kullanıcının erişmemesi gereken verileri kazımanın etik olmadığını ve bunu aşağıda tartışacağımızı unutmamalısınız.
Sonuçta web kazıma, örneğin bir web sitesinin sahipleri için istenmeyen zararlar yaratabilir. Bu zararları ve tehlikeleri tahmin etmek ve tanımlamak zordur.
İşte web kazımanın olası zarar verici sonuçlarından bazıları:
Bir web sitesinden veri toplamaya dayanan bir araştırma projesi, web sitesinin faaliyetlerine katılan bireylerin gizliliğini yanlışlıkla tehlikeye atabilir. Örneğin, bir web sitesinden topladığınız verileri diğer çevrimiçi ve çevrimdışı kaynaklarla karşılaştıran bir araştırmacı, istemeden de olsa verileri kimin oluşturduğunu ifşa etmiş olur.
Tıpkı bireylerin mahremiyet hakkı olduğu gibi, kuruluşların da faaliyetlerinin belirli kısımlarını özel ve gizli tutma hakkı vardır.
Öte yandan, otomatik kazıma, web sitesinin ait olduğu kuruluşla ilgili ticari sırları veya gizli bilgileri kolayca açığa çıkarabilir. Örneğin, akıllı bir kullanıcı bir işe alım web sitesindeki iş ilanlarını sayarak şirketin gelirini yaklaşık olarak belirleyebilir. Böyle bir senaryo şirketin itibarının zedelenmesine ve hatta mali kayıplara yol açabilir.
Bir web sitesine ön yüzüne veya arayüzüne erişmeden erişirseniz, bir web sitesinin gelir elde etmek için kullandığı pazarlama kampanyalarına maruz kalmazsınız. Benzer şekilde, bir web kazıma projesi, müşterilerinin gerçek ürün sahibinden satın alma ihtimalinin düşük olduğu bir ürünle sonuçlanabilir. Bu da yine kuruluşun değerini düşürerek mali kayıplara yol açacaktır.
Sosyal medya, araştırma için çeşitli veri türlerinin elde edilmesinde önde gelen kaynaklardan biridir. Bunun nedeni, sosyal davranışlardan siyasi haberlere kadar farklı bilgiler içermesidir. Ancak etik açıdan bakıldığında, tüm verileri toplamak göründüğü kadar kolay değildir.
Bunun nedenlerinden biri, sosyal medyanın çok sayıda kişisel veriden oluşmasıdır. Çeşitli yasal düzenlemeler de bu verileri korumaktadır. Ayrıca, bilim camiasının etik standartları da kullanıcıların mahremiyetini korumanızı gerektirir. Bu, araştırmanızın bahsettiği gerçek kişilerle bağlantı kurmaktan kaynaklanan herhangi bir zarardan ne pahasına olursa olsun kaçınmanız gerektiği anlamına gelir.
Aslına bakarsanız, araştırmanızla ilişkili deneklerinizin hiçbirini özel ortamlarında göremezsiniz. Bu kesinlikle Facebook profillerine, duvarlarına veya erişiminiz olmayan özel mesajlarına erişim için de geçerlidir.
Nicel araştırma yürütürken veri sızıntısı nedeniyle bir bireye kişisel olarak zarar vermeyeceğiniz açıktır. Bu nedenle, nitel araştırma yaparken, kullanıcı gönderilerini kanıt olarak göstererek kişisel bilgileri ifşa etme konusunda dikkatli olun.
Nihai çözüm, verileri araştırmanıza ve deneğin faaliyetlerini gizliliğine zarar vermeden izlemenize olanak tanıyan Takma Adlandırma tekniğini kullanmak olacaktır.
Akademik araştırmalar için veri kazıma söz konusu olduğunda vekiller büyük bir rol oynayabilir. Çeşitli kaynaklardan seçilebilecek devasa veri havuzları vardır ve kısıtlamalar araştırmayı daha karmaşık hale getirecektir. Proxy'ler bu engellerin çoğunu aşmanıza yardımcı olabilir. Nasıl olduğunu öğrenelim.
Konuma göre coğrafi kısıtlamaları aşma- Bazı dergiler ve akademik makaleler belirli ülkelerden kullanıcıların erişimini kısıtlar. Proxy'leri kullanarak, IP adresinizi maskelediği için bu kısıtlamanın üstesinden gelebilirsiniz. Ayrıca, proxy'lerin konumunuzu göstermemesi için dünyanın çeşitli yerlerinden yerleşim proxy'leri seçebilirsiniz.
Veri toplama sürecini otomatikleştirin- Önceki bölümde keşfettiğiniz gibi, web kazıyıcılar çok fazla veri kazıyabilir. Ancak, web siteleri tarafından uygulanan captcha gibi kısıtlamaları atlayamazlar. Proxy'ler bu tür kısıtlamaların üstesinden gelmenize ve kazıyıcıların verilerin çoğunu kazımasına yardımcı olabilir.
Güvende ve anonim olmanıza yardımcı olur- Kuruluşlar için araştırma projeleri yaparken, bilgisayar korsanlarının kurbanı olabilirsiniz. Bunun nedeni, bilgisayar korsanlarının bağlantınızı kesip gizli verileri çalabilmesidir. Ancak, bir proxy sunucusunun arkasındayken IP adresiniz gizli olduğundan anonim olursunuz. Bu nedenle bilgisayar korsanının verilerinizi çalmasını engelleyecektir.
IP adresinizi mevcut proxy'lerden maskelemek için veri merkezi ve konut pro xy'lerinden birini kullanabilirsiniz.
Konut proxy'leri ile, yukarıda bahsettiğimiz birden fazla ülkeden bir IP adresi havuzu kullanabilirsiniz.
Ayrıca, bir proxy havuzu kullandığınızda, bunları hedef web sitesine erişen farklı kaynaklar olarak görünecek şekilde döndürebilirsiniz. Böylece IP engeli alma olasılığınız azalır.
Ayrıca, bazı araştırma web siteleri farklı ülkelerden kullanıcılara farklı bilgiler gösterir. Dolayısıyla, proxy'leri döndürmenin bir başka avantajı da konumunuzu değiştirebilmeniz ve verilerin bu farklı proxy'lerle de değişip değişmediğini doğrulayabilmenizdir. Bunu yapmak, araştırmanızın çeşitli ülkelerden birden fazla kaynaktan kapsamlı ve etkili olmasını sağlar.
Veri gazetecileri dergi verilerini kazırken, çoğu gazeteci kendilerini tanıtma konusunda endişe duyar. Bazı gazeteciler, belirli web sitelerinden veri kazırken kendilerini tanıtmanın gerekli olduğuna inanmaktadır. Bu, bir röportaj yapmadan önce kendinizi birine tanıtmaya benzer.
Eğer kendinizi tanıtmayı tercih eden bir gazeteciyseniz, HTTP başlığına adınızı ve gazeteci olduğunuzu içeren bir not yazmanız gerekir. Web yöneticisinin sizinle iletişime geçmek istemesi durumunda telefon numaranızı da bırakabilirsiniz.
Buna karşılık, hikayeler için veri toplarken kendinizi ifşa etmek istemeyen bir gazeteciyseniz, verileri vekillerin yardımıyla anonim olarak kazıyabilirsiniz. Ancak, yukarıda da belirttiğimiz gibi, en iyi etik uygulamalara bağlı kalmanız ve web sitesinin kurallarına uymanız gerekecektir. Bu, kişinin kendisiyle röportaj yaptığınızdan habersiz olduğu gizli bir röportaj yapmaya benzer bir senaryodur.
Akademik araştırmalar için veri kazıma sürecini anladığınızı umuyoruz. Verileri kazırken, web sitesi sahiplerine istemeden zarar vermeden uymanız gereken etik kurallar vardır.
Proxy'ler bu tür durumlarda kurtarıcınız olabilir ve bu makalede bahsedilen kısıtlamaların üstesinden gelebilir.
Umarız bunu okumaktan keyif alırsınız ve araştırmanız için araştırma verilerini kazımak üzere bu makalede bahsedilen yöntemleri uygularsınız.