3.3. Metin İşleme : Kelimelerin DNA'sı: Yapay Zeka Metinleri Nasıl Parçalar ve Anlar?

Описание: Hiç bir yapay zekanın, bizim okuduğumuz metinleri nasıl gördüğünü merak ettiniz mi? Bizim için anlamlı olan cümleler, onun için ne ifade ediyor? Bu bölümde, metin işlemenin en temel ve en kritik adımı olan Tokenization, yani metni parçalama sanatına derin bir dalış yapıyoruz. Bir yapay zeka modelinin, bütün bir metni yutmasının mümkün olmadığını ve onu anlamlandırabilmek için önce kelime, karakter veya "token" adını verdiğimiz anlamlı parçalara ayırması gerektiğini öğreniyoruz.

Bu eğitim serisinin sınavına girerek sertifikasını almak için : https://onkupon.com/egitim/metin-isle...

Bu video, sizi OpenAI'ın tokenizer demosundan, klasik NLP derslerinin meşhur "The quick brown fox..." örneğine uzanan pratik bir yolculuğa çıkarıyor. Modern LLM'lerin metinleri neden kelime kelime değil de, istatistiksel olarak anlamlı olan "bil-gis-ayar" gibi parçalara ayırdığını keşfedeceğiz. Ayrıca, "DR." gibi kısaltmaların, "yapay zeka" gibi birleşik kelimelerin ve Türkçenin eklemeli yapısının bu parçalama sürecini nasıl bir bilmeceye dönüştürdüğünü ve bu zorluklarla başa çıkmak için hangi tekniklerin kullanıldığını inceliyoruz.

Zaman Kodları

00:08 Tokenization Nedir? (Jetonlama, Parçalama)
01:46 Metni Parçalara Ayırma: Temel Kavramlar
03:05 Tokenization Seviyeleri (Karakter, Kelime, Paragraf)
04:37 Tokenization'ın Zorlukları (Kısaltmalar, Birleşik Kelimeler, Türkçe'nin Yapısı)
05:48 NLTK ve Spacy: İki Meşhur NLP Kütüphanesi
12:37 Pratik Kod Örneği: Cümle ve Kelime Bölütleme
14:40 Örnek 2: Part-of-Speech (POS) Tagging
16:28 Örnek 3: Lemmatization ve Stemming (Ek ve Kök Analizi)
19:01 Örnek 4: Named Entity Recognition (NER) - Varlık Tanıma
21:12 Örnek 5: Stop Words (Durak Kelimeleri) Temizleme