AI Forwarding · Private AI Integrations

Yerel yapay zekâ: kendi altyapınızda çalışan modeller, veri ağınızın içinde kalır.

Veri ağınızdan çıkmamalıysa modeli verinin olduğu yerde çalıştırıyoruz: Qwen, Llama ve Mistral gibi açık ağırlıklı modeller kendi sunucularınızda, on-prem ya da kendi bulut hesabınızda. İstemler, belgeler ve yanıtlar ağınızın içinde kalır. Modelin çalışacağı altyapıyı boyutlandırıp kuruyor, sistemlerinize genel bir modelle aynı şekilde bağlıyor ve sonrasında işletiyoruz: güncelleme, izleme ve kapasite.

Yerel yapay zekâyı konuşalım

Yerel model ne zaman doğru seçim?

  • Mevzuat harici bir API'ye izin vermiyor. KVKK dahil, bazı veriler kendi altyapınızın dışında işlenemez.
  • Sözleşmeler izin vermiyor. Müşteri ya da tedarikçi sözleşmeleri, verilerinin üçüncü bir tarafa aktarılmasını yasaklıyor.
  • Şirket politikası izin vermiyor. Tasarımlar, formüller, kaynak kod ya da finansal veri gibi, şirketin dışarı göndermemeye karar verdiği bilgiler.
  • Bunların hiçbiri geçerli değilse barındırılan bir model çoğu zaman daha hızlı bir başlangıçtır: Claude ve OpenAI entegrasyonu. Birçok şirket ikisini birlikte kullanıyor.

Ne kuruyor ve işletiyoruz?

Model

İşe uygun açık ağırlıklı bir model: Qwen, Llama, Mistral ve diğerleri.

Altyapı

Modelin çalışacağı sunucuları boyutlandırıp kuruyoruz; on-prem ya da kendi bulut hesabınızda.

Modelin sunulması

Model ağınızın içinde sunulur; istemler, belgeler ve yanıtlar dışarı çıkmaz.

Bağlantılar

Yerel model ERP, belgeler ve veritabanlarınıza genel bir modelle aynı şekilde, SSO'nuzun arkasında bağlanır.

İzleme ve kapasite

Yükü ve yanıt sürelerini izliyor, kullanım arttıkça kapasiteyi planlıyoruz.

Güncelleme

Modeller ve sunum yığını değişir; ikisini de güncel tutuyoruz.

Barındırılan ve yerel model: fark

Müşteri projesi

  • Presimsan: bir üretici olan Presimsan için yerel yapay zekâyı bu şekilde kurduk (referans)

Sık sorulan sorular

Yerel yapay zekâ (private AI) nedir?

Harici bir sağlayıcıda değil, sizin denetlediğiniz altyapıda, on-prem ya da kendi bulut hesabınızda çalışan bir dil modelidir. İstemler, belgeler ve yanıtlar ağınızın içinde kalır.

Hangi yerel modelleri çalıştırıyorsunuz?

Qwen, Llama ve Mistral gibi açık ağırlıklı modelleri; işe ve mevcut altyapıya göre seçerek.

Kendi sunucumuz olması gerekir mi?

Model kendi sunucularınızda, on-prem ya da kendi bulut hesabınızda çalışır. Altyapıyı modele ve beklenen yüke göre boyutlandırıp kuruyoruz.

Yerel model Claude ya da GPT kadar yetenekli mi?

Bugün en yetenekli modeller barındırılan modellerdir. Yerel modeller, belgeler üzerinde soru-yanıt, taslak hazırlama ve sınıflandırma gibi birçok şirket işini iyi yapar. Seçimi çoğu zaman verinin nereye gidebileceği belirler; birçok şirketin ikisini birlikte kullanmasının nedeni budur.

Kurulduktan sonra modeli kim işletir?

Biz: güncelleme, izleme ve kapasite; üretim bulutlarını işleten ekip tarafından.

İlgili yazılar

Yerel yapay zekâyı konuşalım