Yerel yapay zekâ: kendi altyapınızda çalışan modeller, veri ağınızın içinde kalır.
Veri ağınızdan çıkmamalıysa modeli verinin olduğu yerde çalıştırıyoruz: Qwen, Llama ve Mistral gibi açık ağırlıklı modeller kendi sunucularınızda, on-prem ya da kendi bulut hesabınızda. İstemler, belgeler ve yanıtlar ağınızın içinde kalır. Modelin çalışacağı altyapıyı boyutlandırıp kuruyor, sistemlerinize genel bir modelle aynı şekilde bağlıyor ve sonrasında işletiyoruz: güncelleme, izleme ve kapasite.
Yerel model ne zaman doğru seçim?
- Mevzuat harici bir API'ye izin vermiyor. KVKK dahil, bazı veriler kendi altyapınızın dışında işlenemez.
- Sözleşmeler izin vermiyor. Müşteri ya da tedarikçi sözleşmeleri, verilerinin üçüncü bir tarafa aktarılmasını yasaklıyor.
- Şirket politikası izin vermiyor. Tasarımlar, formüller, kaynak kod ya da finansal veri gibi, şirketin dışarı göndermemeye karar verdiği bilgiler.
- Bunların hiçbiri geçerli değilse barındırılan bir model çoğu zaman daha hızlı bir başlangıçtır: Claude ve OpenAI entegrasyonu. Birçok şirket ikisini birlikte kullanıyor.
Ne kuruyor ve işletiyoruz?
Model
İşe uygun açık ağırlıklı bir model: Qwen, Llama, Mistral ve diğerleri.
Altyapı
Modelin çalışacağı sunucuları boyutlandırıp kuruyoruz; on-prem ya da kendi bulut hesabınızda.
Modelin sunulması
Model ağınızın içinde sunulur; istemler, belgeler ve yanıtlar dışarı çıkmaz.
Bağlantılar
Yerel model ERP, belgeler ve veritabanlarınıza genel bir modelle aynı şekilde, SSO'nuzun arkasında bağlanır.
İzleme ve kapasite
Yükü ve yanıt sürelerini izliyor, kullanım arttıkça kapasiteyi planlıyoruz.
Güncelleme
Modeller ve sunum yığını değişir; ikisini de güncel tutuyoruz.
Barındırılan ve yerel model: fark
| Barındırılan model | Yerel model | |
|---|---|---|
| Modeller | Anthropic Claude, OpenAI GPT, Google Gemini | Qwen, Llama, Mistral ve diğer açık ağırlıklı modeller |
| İstemler nerede işlenir? | Sözleşme kapsamında bir bulut sağlayıcısında | Ağınızın içinde |
| Altyapı | Size ait altyapı gerekmez | Kendi sunucularınız; on-prem ya da bulut hesabınızda |
| Kim işletir? | Modeli sağlayıcı, entegrasyonu biz işletiriz | Modeli, altyapıyı ve entegrasyonu biz işletiriz |
Müşteri projesi
- Presimsan: bir üretici olan Presimsan için yerel yapay zekâyı bu şekilde kurduk (referans)
Sık sorulan sorular
Yerel yapay zekâ (private AI) nedir?
Harici bir sağlayıcıda değil, sizin denetlediğiniz altyapıda, on-prem ya da kendi bulut hesabınızda çalışan bir dil modelidir. İstemler, belgeler ve yanıtlar ağınızın içinde kalır.
Hangi yerel modelleri çalıştırıyorsunuz?
Qwen, Llama ve Mistral gibi açık ağırlıklı modelleri; işe ve mevcut altyapıya göre seçerek.
Kendi sunucumuz olması gerekir mi?
Model kendi sunucularınızda, on-prem ya da kendi bulut hesabınızda çalışır. Altyapıyı modele ve beklenen yüke göre boyutlandırıp kuruyoruz.
Yerel model Claude ya da GPT kadar yetenekli mi?
Bugün en yetenekli modeller barındırılan modellerdir. Yerel modeller, belgeler üzerinde soru-yanıt, taslak hazırlama ve sınıflandırma gibi birçok şirket işini iyi yapar. Seçimi çoğu zaman verinin nereye gidebileceği belirler; birçok şirketin ikisini birlikte kullanmasının nedeni budur.
Kurulduktan sonra modeli kim işletir?
Biz: güncelleme, izleme ve kapasite; üretim bulutlarını işleten ekip tarafından.