Scrape YouTube Videos Using Python- An Easy Approach in 2024

Web kazıma yardımıyla Youtube'dan veri çıkarabilir ve bu verilerden değerli bilgiler elde ederek kuruluşunuza fayda sağlayabilirsiniz. Youtube'dan veri çıkarmayı öğrendiğinizde, ne tür veriler istediğinizi bilmek önemlidir. Örneğin, insanların çalışmanıza verdiği tepkileri bilmek istiyorsanız, kullanıcı duyarlılığı analizi için yorumlar bölümünü kazıyabilirsiniz. Benzer şekilde, bir videonun başarısını izlemek istiyorsanız, video performans verilerini kazıyabilirsiniz. 

Youtube videolarını nasıl kazıyacağımızı öğrenmeden önce, onları neden kazımamız gerektiğini öğrenelim.

Aşağıda Youtube verilerini kazımanın iki ana nedeni belirtilmiştir.

Selenium ve Python kullanarak Youtube video verilerini nasıl çıkaracağımızı görelim. Selenium, web tarayıcılarını otomatikleştirmek için popüler bir araçtır. Selenium kullanarak bir web tarayıcısını otomatikleştirmek için kolayca bir Python betiği programlayabilirsiniz. 

Selenium, seçtiğiniz tarayıcı ile arayüz oluşturmak için bir sürücü gerektirir. Örneğin, Chrome, kazıma işlemine başlamadan önce yüklenmesi gereken bir ChromeDriver gerektirir.

$ pip selenium yükleyin

İndirilenler dizinine gitmeli ve aşağıdakileri yapmalısınız.

$ cd İndirmeler
$ unzip chromedriver_linux64.zip
$ mv chromedriver /usr/local/bin/

Youtube'dan belirli bir kategorinin video kimliğini, başlığını ve açıklamasını kazıyacağız. Kazıyabileceğimiz kategoriler şu şekildedir:

Pandas ve Selenium gibi gerekli kütüphaneleri içe aktarmanız gerekir.

from selenium import webdriver 
import pandas as pd 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

Tarayıcınızda Youtube'u açmanız gerekir. Video aramak istediğiniz kategoriyi yazın ve filtreyi "videolar" olarak ayarlayın. Aramanızla ilgili videolar alacaksınız. Şimdi, URL'yi kopyalamanız gerekiyor.

URL'nin içeriğini Youtube'dan almak için sürücüyü ayarlamanız gerekir.

driver = webdriver.Chrome() 
driver.get("YOUR_LINK_HERE")

Aradığınız anchor etiketinin "href" özelliğini getirmek için aşağıdaki kodu kullanabilirsiniz.

user_data= driver.find_elements_by_xpath('//*[@id="video-title"]')
bağlantılar = []
for i in user_data:
            links.append(i.get_attribute('href'))

 print(len(bağlantılar))

Aşağıdaki dört sütunu içeren bir veri çerçevesi oluşturmanız gerekir.

Bu sütunlarda farklı kategoriler için videoların ayrıntılarını saklayabilirsiniz.

df = pd.DataFrame(columns = ['link', 'title', ' description', ' category'])

Python'un aşağıdaki kodunu kullanarak Youtube video ayrıntılarını kazımaya ayarlandınız.

wait = WebDriverWait(driver, 10)
v_category = "CATEGORY_NAME"
for x in links:
            driver.get(x)
            v_id = x.strip('https://www.youtube.com/watch?v=')
            v_title = wait.until(EC.presence_of_element_located(
                           (By.CSS_SELECTOR,"h1.title yt-formatted-string"))).text
            v_açıklama = wait.until(EC.presence_of_element_located(
                                         (By.CSS_SELECTOR,"div#description 
                                         yt-formatted-string")).text
            df.loc[len(df)] = [v_id, v_title, v_description, v_category]

İşte,

Kalan kategoriler için de aynı adımları izleyeceğiz. Elimizde dört farklı veri çerçevesi olacak ve bunları tek bir veri çerçevesinde birleştireceğiz. Bu şekilde, nihai veri çerçevemiz yukarıda belirtilen tüm kategorilerdeki videoların istenen ayrıntılarını içerecektir.

frames = [df_travel, df_science, df_food, df_manufacturing]
df_copy = pd.concat(frames, axis=0, join='outer', join_axes=None, ignore_index=True, keys=None, levels=None, names=None, verify_integrity=False, copy=True)

Youtube proxy'lerini aşağıdaki görevler için kullanabilirsiniz:

Yerleşim yeri proxy'leri, veri merkezi proxy'lerine kıyasla Youtube için en iyi proxy'lerdir. Bunun nedeni, veri merkezi proxy'lerinin kolayca algılanması ve bunları kullanırken çok sayıda Captcha ile karşılaşmanız gerektiğidir. Bu nedenle, IP engelleme ve Captcha'lardan kaçınmak için, konut proxy'leri Youtube otomasyonu için en uygun olanıdır.

Youtube'un milyarlarca değerli veriyle dolu olduğunu biliyorsunuz. Bu verileri analiz edebilir ve aşağıdakiler gibi birçok şey yapmak için kullanabilirsiniz:

Youtube'u kazırken proxy'lere ihtiyacınız var. Bunun nedeni Youtube'un tek bir IP adresinden birden fazla ürün satın almaya çalıştığınızda bunu tespit eden gelişmiş siber güvenlik teknikleri kullanmasıdır. Tespiti atlatmak için internet trafiğinizi birkaç proxy sunucusu üzerinden yeniden yönlendirmeniz gerekir. Bu şekilde, ağ trafiği farklı bilgisayarlardan geliyormuş gibi görünecektir.

Proxy'ler ayrıca bir videonun izlenme sayısını artırmak, Youtube sıralama algoritmasını manipüle etmek ve reklamlardan gelir elde etmek için Youtube botlarını kullanan pazarlamacılar için bir kalkan görevi görür.

Özel bir veri merkezi proxy'si, sınırsız bant genişliği ve eşzamanlı bağlantılar, kolay iletişim için özel HTTP proxy'leri ve daha fazla güvenlik için IP kimlik doğrulaması gibi çeşitli özelliklere sahiptir. 99,9 çalışma süresi ile, özel veri merkezinin herhangi bir oturum sırasında her zaman çalışacağından emin olabilirsiniz. Son olarak, ProxyScrape mükemmel müşteri hizmetleri sunar ve sorununuzu 24-48 iş saati içinde çözmenize yardımcı olur. 

ProxyScrape'un konut proxy'sinin diğer bir özelliği de dönen bir özelliktir. Dönen proxy, hesabınızın kalıcı olarak yasaklanmasını önlemenize yardımcı olur çünkü konut proxy'niz IP adresinizi dinamik olarak değiştirerek hedef sunucunun proxy kullanıp kullanmadığınızı kontrol etmesini zorlaştırır. 

Bunun dışında, bir konut proxy'sinin diğer özellikleri şunlardır: eşzamanlı bağlantıyla birlikte sınırsız bant genişliği, özel HTTP / s proxy'leri, proxy havuzundaki 7 milyondan fazla proxy nedeniyle herhangi bir zaman oturumunda proxy'ler, daha fazla güvenlik için kullanıcı adı ve şifre kimlik doğrulaması ve son olarak, ülke sunucusunu değiştirme yeteneği. Ülke kodunu kullanıcı adı kimlik doğrulamasına ekleyerek istediğiniz sunucuyu seçebilirsiniz. 

Daha sonra, en iyi şey proxy sunucusunu ülkeye göre değiştirmek olacaktır. IP kimlik doğrulamasının veya kullanıcı adı ve parola kimlik doğrulamasının sonuna ülke ISO_CODE'unu eklemeniz yeterlidir. 

Umarım Python kullanarak Youtube videolarını nasıl kazıyacağınızı anlamışsınızdır.