Skip to content

Bu proje, dil işleme (NLP) konusunda temel bilgisi olmayan kişilere yönelik bir eğitim aracı olarak tasarlanmıştır.

License

Notifications You must be signed in to change notification settings

keyiflerolsun/NLP_Yenir_Mi

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

KekikNLP: NLP Eğitimi İçin Bir Başlangıç

Bu proje, dil işleme (NLP) konusunda temel bilgisi olmayan kişilere yönelik bir eğitim aracı olarak tasarlanmıştır.

Projenin Amacı

KekikNLP, dil işleme görevlerinde kullanılabilecek bir araçtır. Özellikle metin sınıflandırma konusunda temel bilgileri pratiğe dökmek isteyenler için ideal bir başlangıçtır.

Projenin Yapısı

├── Dil/
│   ├── etkisiz_kelimeler.txt
│   └── __init__.py
├── Veriler/
│   └── islenmemis_veri.csv
├── model_egit.py
├── model_kullan.py
└── requirements.txt

Kullanılan Teknolojiler ve Kütüphaneler

Bu projede temel Python programlama dili kullanılmıştır. Ayrıca, dil işleme ve makine öğrenimi görevleri için aşağıdaki kütüphanelerden yararlanılmıştır:

  • pandas: Veri analizi ve manipülasyonu için.
  • imbalanced-learn: Dengesiz veri kümelerini dengelemek için.
  • scikit-learn: Makine öğrenimi modeli eğitimi ve değerlendirmesi için.
  • joblib: Eğitilmiş modelleri disk üzerinde saklamak için.

Veri Seti Yapısı

Projenizde kullanılan ana veri seti islenmemis_veri.csv dosyasıdır. Bu dosya, metin yorumlarını ve bu yorumların etiketlerini içerir.


Not: Bu eğitimde veri seti örnek olarak sunulmuştur. Kendi verilerinizle veya ihtiyaçlarınıza göre bu yapıyı değiştirebilirsiniz. Ancak, kodların sorunsuz çalışabilmesi için sütun adlarını korumanız önerilir.


Başlangıç

Gereksinimler

pip install -Ur requirements.txt

Modeli Eğitme

python model_egit.py

model_egit

Akış Şeması

  1. Veri Hazırlama

Bu aşamada, veri seti diskten okunur ve makine öğrenimi modelinin eğitimi için uygun bir formata getirilir.

  1. Önişleme

Verinin kalitesini artırmak ve modelin daha iyi sonuçlar elde etmesini sağlamak için gerçekleştirilen adımlardır. Örneğin; küçük harfe dönüştürme, gereksiz kelimeleri çıkarma, noktalama işaretlerini temizleme gibi işlemler bu aşamada yapılır.

  1. Etiket Dengeleme

Veri setinde bazı sınıfların diğerlerine göre daha fazla örnek içermesi durumunda, bu sınıfların dengeye getirilmesi gerekmektedir. Bu, modelin bütün sınıfları eşit şekilde tanıması için önemlidir.

  1. Eğitim ve Test Kümelerinin Ayrılması

Veri seti, modelin eğitimi için kullanılacak bir eğitim kümesi ve modelin performansının değerlendirilmesi için kullanılacak bir test kümesine ayrılır.

  1. Sayma Vektörü (Count Vectorizer)

Metin verisini, her kelimenin kaç kere geçtiğini temsil eden bir vektöre dönüştürür.

  1. TF-IDF Vektörü

Terim Frekansı - Ters Belge Frekansı (TF-IDF) olarak bilinir. Metin içerisindeki kelimelerin ne kadar önemli olduğunu belirlemek için kullanılır.

  1. MultinomialNB (Çok Terimli Naive Bayes)

Metin sınıflandırma gibi görevlerde sıkça kullanılan bir istatistiksel sınıflandırma algoritmasıdır.

  1. LogisticRegression (Lojistik Regresyon)

Verinin ait olduğu sınıfın olasılığını tahmin etmek için kullanılan bir sınıflandırma algoritmasıdır.

  1. LinearSVC (Doğrusal Destek Vektör Makinesi)

Veri noktalarını iki sınıfa ayıran en iyi doğruyu (veya hiper düzlemi) bulmaya çalışan bir sınıflandırma algoritmasıdır.

  1. RandomForestClassifier (Rastgele Orman Sınıflandırıcısı)

Birden fazla karar ağacının kombinasyonunu kullanarak çalışan bir sınıflandırma algoritmasıdır.

Modeli Kullanma

python model_kullan.py

model_kullan

Öneriler ve Tavsiyeler

Eğer dil işleme konusunda daha derinlemesine bilgi sahibi olmak isterseniz, çeşitli online kaynaklardan ve kurslardan yararlanabilirsiniz. Ayrıca bu projeyi kendi ihtiyaçlarınıza göre özelleştirerek daha karmaşık NLP projeleri geliştirebilirsiniz.


💸 Bağış Yap

☕️ Kahve Ismarla

🌐 Telif Hakkı ve Lisans

♻️ İletişim

Benimle iletişime geçmek isterseniz, Telegram'dan mesaj göndermekten çekinmeyin; @keyiflerolsun

@KekikAkademi için yazılmıştır..

About

Bu proje, dil işleme (NLP) konusunda temel bilgisi olmayan kişilere yönelik bir eğitim aracı olarak tasarlanmıştır.

Topics

Resources

License

Stars

Watchers

Forks

Languages