GemmaTR (Türkçe LLM)

Proje Hakkında

GemmaTR, Türkçe sohbet botu eksikliğini gidermek için Google'ın Gemma büyük dil modelinin Türkçe dili için özelleştirilmiş versiyonudur. Google Colab üzerinde Unsloth kütüphanesi ve LoRA tekniği kullanılarak parçalı şekilde 40 saatlik bir süreçte eğitilmiştir. 400.000 Türkçe Wikipedia ve 50.000 hukuk, eğitim, tarım odaklı soru-cevap veri seti oluşturularak 4 farklı model geliştirilmiştir.

Temel Özellikler

• 400.000 Türkçe Wikipedia + 50.000 soru-cevap veri seti ile ince ayar
• Google Colab üzerinde Unsloth kütüphanesi ile 40 saatlik eğitim
• LoRA (Low-Rank Adaptation) tekniği ile verimli adaptasyon
• 4 farklı model geliştirme (hukuk, eğitim, tarım odaklı)
• Hugging Face platformunda açık kaynak yayın

Kazanımlar

• Büyük dil modeli fine-tuning süreçleri
• LoRA ve PEFT teknikleri
• Veri seti hazırlama ve temizleme