LLM Çalışmaları için Veri Toplama, İnceleme ve Kalite Belirleme Arayüzü ve Araçları Geliştirilmesi

LLM eğitimlerinde kullanılan verilerin incelemesinin manuel olmaması ve verimli bir şekilde yapılabilmesi önemlidir. LLM eğitimleri için çeşitli kaynaklardan büyük miktarlarda veri gerekmektedir ve bu verilerin hepsi aynı kalitede değerlendirilmemektedir. Toplanan verilerin eğitime uygun formata getirilmesi ve sınıflandırılması gerekmektedir. Ek olarak verilerin kalitesini belirlemek için kalite (quality) ve zararlılık (toxicity) modelleri kullanılmaktadır. Proje kapsamında bahsedilen ihtiyaçları karşılayabilecek şekilde LLM eğitim verilerinin incelenmesi ve değerlendirilmesi için toollar ve arayüzler geliştirilerek eğitim için yeni veriler işlenecektir. Ayrıca geliştirilen arayüzlerde LLM modellerinin hızlı bir şekilde test edilmesi için LLM modeli seçme, inceleme ve DPO verisi toplama gibi fonksiyonlar olması beklenmektedir.