İşaret Dili ve Yapay Zeka: TİD3B Avatarından Google SignGemma'ya Neler Oluyor?

İşaret dili ve yapay zeka bu yıl aynı cümlede her zamankinden sık geçiyor. Google, işaret dilini cihaz üzerinde metne çeviren SignGemma modelini telefonlara taşıdı; Türkiye'de Karadeniz Teknik Üniversitesi ve Trabzon Üniversitesi'nin geliştirdiği üç boyutlu TİD avatarı TİD3B, TEKNOFEST standlarında yazdığın cümleyi anında işaretledi. Peki bu teknolojiler gerçekten ne yapabiliyor, ne yapamıyor ve işaret dili öğrenen biri için ne anlama geliyor? Spoiler: robotlar tercümanların işini elinden almadı, ama sana çok iyi bir çalışma arkadaşı oldular.

isaretdiliogren.com arşivinden — TİD'de "bilgisayar"

📹 Bilgisayar — video gösterimi

İşaret Dili ve Yapay Zeka Neden Şimdi Gündemde?

Üç gelişme üst üste geldi. Birincisi, Google'ın 2025'te duyurduğu SignGemma modeli: işaret dilini kameradan izleyip metne çeviren, internet gerektirmeyen, telefonda çalışan açık kaynaklı bir model. Google bu yıl işaret dilinden metne yazdırma özelliğini Pixel 11 telefonlarda klavyeye ve canlı transkripsiyona ekledi; yani Amerikan İşaret Dili kullanıcıları artık telefona ellerini göstererek mesaj yazabiliyor.

İkincisi, Türkiye cephesi: TİD3B üç boyutlu Türk İşaret Dili avatarı TEKNOFEST Karadeniz'de sergilendi ve stant başında yazılan cümlelerin ekrandaki karakter tarafından anında işaretlenmesi ziyaretçilerin en çok fotoğrafladığı anlardan biri oldu. Üçüncüsü, 23 Eylül Uluslararası İşaret Dilleri Günü'nün yaklaşması; Dünya Sağırlar Federasyonu'nun 2026 teması "sağır bireylerin insan hakları" ve dijital erişilebilirlik bu hakların tam merkezinde.

İki Yön, İki Ayrı Problem: Metinden İşarete, İşaretten Metne

isaretdiliogren.com arşivinden

📹 Yazmak — video gösterimi

Kolay yön: metinden işarete (avatar)

Bir Türkçe cümleyi al, kelimeleri TİD kelime dizilişine göre yeniden sırala, her kelimenin önceden kaydedilmiş üç boyutlu hareketini avatara oynat. Zor olan kısım dilbilgisi dönüşümü; hareket kısmı, iyi bir animasyon kütüphanesi meselesi. Bu yüzden avatarlar bugün havalimanı duyurularında, belediye web sitelerinde ve videolara işaret dili altyazısı eklemekte gerçekten kullanılıyor. Türkiye'de Engelsiz Çeviri gibi hizmetler web sayfası içeriğini ve video altyazılarını yapay zeka destekli avatarla işaret diline çeviriyor.

Zor yön: işaretten metne (tanıma)

Kamera bir insanın ellerini, yüzünü ve vücudunu izler; her karede el şeklini, konumu, hareket yönünü ve yüz ifadesini çıkarır; bunları zamana yayılmış bir dizi olarak yorumlayıp kelimeye, sonra cümleye dönüştürür. Konuşma tanımaya benziyor ama bir farkla: seste tek bir sinyal var, işarette eş zamanlı beş parametre. SignGemma'nın bu kadar haber olmasının sebebi, bu zor yönü telefonda 200 milisaniyenin altında yapabilmesi.

TİD3B: Türkiye'nin Üç Boyutlu İşaret Dili Avatarı

TİD3B, Karadeniz Teknik Üniversitesi ve Trabzon Üniversitesi akademisyenlerinin yaklaşık üç yıllık çalışmasıyla geliştirildi. Yazılan Türkçe metni otomatik olarak Türk İşaret Dili'ne çeviriyor, 2.700'den fazla kelimeyi tanıyor ve hem bilgisayarda hem telefonda çalışıyor. Proje, TEKNOFEST 2021'de İnsanlık Yararına Teknoloji yarışmasının yardımcı teknoloji kategorisinde üniversite ve üzeri seviyede birinci oldu; bugün web sürümü ve Android uygulaması var.

isaretdiliogren.com arşivinden

📹 Yeni — video gösterimi

Ne işe yarıyor?

Bir kamu kurumunun duyurusunu, bir ders notunu ya da bir haber metnini işaret diline çevirmek için insan tercüman bulmak, çekim yapmak ve kurgulamak günler sürer. Avatar bunu saniyeler içinde yapıyor. Okuma yazma bilmeyen ya da Türkçe metni takip etmekte zorlanan sağır bireyler için bu, bilgiye ana dilinde erişim demek. İşaret dili öğrenen biri içinse etkileşimli bir sözlük: yazdığın cümlenin nasıl işaretlendiğini gör, dizilişin nasıl değiştiğini fark et.

Ne işe yaramıyor?

Avatar konuşmaz, dinler. Karşındaki sağır bireyin sana söylediğini anlamaz; sadece senin yazdığını ona işaretler. Yüz ifadesi ve ritim de animasyonun sınırlarına takılır; gerçek bir TİD kullanıcısının yüzündeki incelikleri avatar henüz veremiyor. Kısacası TİD3B, tek yönlü bilgi aktarımında güçlü, karşılıklı sohbette değil.

Türkiye'de İşaret Dili Tanıma Araştırmaları: Kamera Ne Kadar Anlıyor?

isaretdiliogren.com arşivinden

📹 Görmek — video gösterimi

Zor yönde, yani kameradan TİD tanımada Türkiye'deki üniversiteler sessiz ama istikrarlı ilerliyor. Yayımlanmış çalışmalardan birkaç örnek:

Parmak alfabesinden ifadelere

İlk adım her yerde aynı: parmak alfabesi. Bir çalışma, Türkçe parmak alfabesinin 29 harfini içeren bir veri setiyle YOLOv5 nesne tanıma mimarisini eğitti ve kameradan harf tanımayı gösterdi. Bir başka ekip, MediaPipe Holistic ile el, yüz ve vücuttaki üç boyutlu noktaları çıkarıp 41 yaygın TİD ifadesini tanımak için GRU, LSTM ve karma sinir ağı modellerini karşılaştırdı. Erciyes Üniversitesi araştırmacıları ise ERUSLR adını verdikleri yeni bir Türk işaret dili veri seti oluşturup evrişimli sinir ağıyla tanıma yaptı.

Neden hâlâ ürün yok?

Bu çalışmaların ortak noktası, sınırlı sayıda işaretle laboratuvar ortamında yüksek doğruluk vermeleri. 41 ifadeyi yüzde 95 doğrulukla tanımak akademik olarak değerli, ama günlük sohbet için 2.000 kelime, farklı ışık, farklı imzacı ve bölgesel varyant gerekiyor. SignGemma'nın Amerikan İşaret Dili'nde iyi olup TİD'de olmamasının sebebi de bu: veri. Google'ın modeli açık kaynak; TİD veri setleri büyüdükçe onunla eğitmek mümkün. Türkiye'deki her veri seti çalışması bu yüzden kıymetli.

Yapay Zeka İşaret Dilini Neden Bu Kadar Zor Öğreniyor?

isaretdiliogren.com arşivinden

📹 Yardım etmek — video gösterimi

Konuşma tanıma on yılda telefonlara girdi; işaret tanıma neden hâlâ laboratuvarda? Dört sebep var ve hepsi işaret dilinin bir dil olarak ne kadar zengin olduğunu gösteriyor.

Eş zamanlılık

Konuşmada sesler art arda gelir; işarette el şekli, konum, hareket, avuç yönü ve yüz ifadesi aynı anda anlam taşır. Model beş kanalı birden izleyip birleştirmek zorunda.

Mekân kullanımı

TİD kullanıcısı bir kişiyi sağındaki boşluğa "yerleştirir", sonra o noktaya işaret ederek "o" der. Bu mekânsal dilbilgisi, kelime kelime çeviren bir modelin hiç göremediği bir katman.

Veri azlığı ve varyasyon

İnternette milyarlarca saat Türkçe konuşma var; etiketlenmiş TİD videosu ise binlerle ölçülüyor. Üstüne bölgesel farklar, kuşak farkları ve her imzacının kendi "aksanı" ekleniyor. Yapay zeka çeşitlilik gördükçe öğrenir; TİD için o çeşitlilik henüz dijitalleşmedi.

Etik sınır

Sağır topluluğu haklı olarak soruyor: "Bizim dilimizi bize sormadan mı çeviriyorsunuz?" En başarılı projeler, sağır imzacıların veri toplamadan model değerlendirmeye kadar her aşamada yer aldığı projeler. TDK'nın bu yıl düzenlediği Türk İşaret Dili Öğretimi Çalıştayı'nda sağır öğreticilerin rolünün gündeme gelmesi tesadüf değil.

Öğrenen İçin Ne Değişiyor? Yapay Zekayı Çalışma Arkadaşı Yapmak

isaretdiliogren.com arşivinden

📹 Hayal — video gösterimi

Bütün bu teknoloji, işaret dili öğrenmeyi gereksiz kılmıyor; tam tersine kolaylaştırıyor. Çünkü yapay zeka tam olarak öğrenenin en çok zorlandığı iki şeyi çözüyor: "bu cümle TİD'de nasıl dizilir?" ve "benim yaptığım işaret doğru mu?". İşte beş adımlık pratik plan:

Teknoloji konuşmak için 8 TİD kelimesi

Bu yazıyı okuduktan sonra bir sağır arkadaşınla yapay zeka hakkında sohbet etmek istersen, işte başlangıç seti:

Sık Sorulan Sorular

Özetle: işaret dili yapay zeka teknolojileri 2026'da iki hızda ilerliyor. Metni işarete çeviren avatarlar, TİD3B örneğinde olduğu gibi, bugün gerçek işler yapıyor. İşareti metne çeviren tanıma sistemleri ise Amerikan İşaret Dili'nde telefona girdi, Türk İşaret Dili'nde veri bekliyor. Her iki durumda da denklem aynı: teknoloji köprüyü kuruyor, köprüden geçen yine insan. Sen de bugün ilk 10 kelimeyle başla; yapay zeka seni bekler, insanlar beklemez.