Yerel LLM kurulumu, bir dil modelinin ağırlıklarını indirip kendi denetiminizdeki sunucularda çalıştırmak demektir: kendi veri merkezinizde ya da kendi bulut hesabınızda. İstemler, belgeler ve yanıtlar ağınızın içinde kalır. Yerel yapay zekâ, şirket içi yapay zekâ, on-premise yapay zekâ ya da kısaca local AI denince kastedilen budur. Veri şirket dışına çıkamıyorsa, bir sözleşme ya da mevzuat bunu şart koşuyorsa, kullanım hacmi düzenliyse ya da tesiste güvenilir internet yoksa doğru seçimdir.

Her iş için doğru seçim değildir. Hazır bir API, donanım ve işletim yükü olmadan en güçlü modelleri verir ve birçok iş yükünde daha mantıklı olan odur. Bu rehber kararı, modelleri ve araçları, donanım hesabının mantığını ve güvenli işletimi anlatıyor.

Yerel yapay zekâ ne zaman mantıklı?

  • Veri ağdan çıkamıyorsa. Tasarım dosyaları, kaynak kod, müşteri kayıtları, üretim verisi. Veri üçüncü bir tarafa gidemiyorsa model verinin yanına gelir.
  • Mevzuat ya da sözleşme gerektiriyorsa. Sektör düzenlemeleri, müşteri sözleşmeleri ya da şirket politikası harici işlemeyi yasaklayabilir. Hazır API sağlayıcıları çoğunlukla yurt dışında olduğundan kişisel verinin yurt dışına aktarımı da gündeme gelir; ayrıntısı KVKK ve yapay zekâ yazımızda.
  • Hacim düzenliyse ve maliyet öngörülebilir olmalıysa. Hazır API jeton başına ücret alır. Yerel model tek bir soruya da yanıt verse, gün boyu da çalışsa aynı maliyettedir.
  • Çevrimdışı ya da fabrika ortamında. Yalıtılmış bir üretim ağında, internete muhtaç bir model bağlantı kesilince durur.

Ne zaman hazır API daha doğru seçim?

  • En güçlü modele ihtiyacınız varsa. Anthropic ve OpenAI gibi sağlayıcıların en ileri modelleri ağırlık olarak yayımlanmıyor.
  • Hacim düşük ya da dalgalıysa. Boşta bekleyen donanım, yanıt başına pahalıdır.
  • Fikri hâlâ deniyorsanız. Önce hassas olmayan veriyle bir API üzerinde kullanım senaryosunu kanıtlayın.
  • İşletecek kimse yoksa. Model sunucusunun bir sahibi olmalıdır.

Birçok şirket ikisini birlikte kullanır: genel işler için barındırılan model, dışarı çıkmaması gereken veri için yerel model. Barındırılan tarafı Claude API entegrasyonu rehberimiz anlatıyor.

Hazır API ile yerel model: kısa karşılaştırma

Açık ağırlıklı modeller: Qwen, Llama, Mistral ve lisans ne söyler?

Açık ağırlıklı (open-weight), eğitilmiş parametrelerin indirilebilir biçimde yayımlandığı anlamına gelir; modeli kendiniz çalıştırabilirsiniz. Açık kaynakla aynı şey değildir: Open Source Initiative'in açık kaynak yapay zekâ tanımı, eğitim kodunu ve eğitim verisine dair bilgiyi de ister. Pratikte ne yapabileceğinizi lisans belirler.

  • Qwen (Alibaba Cloud): proje deposu, açık ağırlıklı modellerinin Apache 2.0 ile yayımlandığını belirtiyor. Bu, ticari kullanıma izin veren serbest bir lisanstır.
  • Llama (Meta): Meta'nın kendi topluluk lisansı. Ticari kullanım serbesttir; kabul edilebilir kullanım politikası ve modeli yeniden dağıtırsanız atıf kuralları vardır.
  • Mistral (Mistral AI): bazı modeller Apache 2.0, bazıları Mistral'in kendi lisans koşullarıyla gelir.
  • Gemma (Google): açık ağırlıklı; koşullar kuşağa göre değişir.

Üzerine iş kurmadan önce tam olarak kullanacağınız modelin ve sürümün lisans dosyasını okuyun. Seçimi de sıralama tablolarına göre değil, kendi işlerinizle ve Türkçe sorularla yaptığınız denemeye göre yapın.

Yerel LLM kurulumu için donanım hesabı: bellek, kuantizasyon, eşzamanlılık

Asıl kısıt GPU belleğidir. Belleği üç şey kullanır:

  • Ağırlıklar. Kabaca parametre sayısı çarpı ağırlık başına bit. 16 bit hassasiyette bir milyar parametre yaklaşık 2 GB tutar.
  • Bağlam. Her istek, istem ve yanıt uzadıkça büyüyen bir çalışma belleği tutar.
  • Eşzamanlılık. Aynı anda işlenen her istek kendi çalışma belleğini ister.

Kuantizasyon, ağırlıkları daha düşük hassasiyetle saklar. 4 bitlik bir sürüm, 16 bitlik belleğin kabaca dörtte biri ile üçte biri arasında yer tutar; karşılığında yanıt kalitesinden bir miktar kaybedilir. Bu yüzden kuantize modeli kendi sorularınızla deneyin. Modeller işlemcide (CPU) de çalışır; yavaştır ama toplu işler için yetebilir.

Hesabı çalışan sayısına göre değil, aynı anda gelen en yüksek istek sayısına göre yapın. Donanımı pilot bunu ölçtükten sonra alın, önce değil.

Çalıştırma araçları: vLLM, Ollama, llama.cpp ve TGI

  • vLLM: UC Berkeley'de başlayan açık kaynak bir servis motoru. Gelen istekleri sürekli gruplayarak işler; GPU üzerinde çok sayıda eşzamanlı kullanıcıya uygundur.
  • Ollama: modeli tek komutla çalıştıran ve yerel bir API sunan açık kaynak araç. Pilot ya da küçük bir ekip için iyidir.
  • llama.cpp: GGUF biçimindeki kuantize modelleri CPU ve GPU üzerinde çalıştıran C/C++ motoru. Mütevazı donanımda işe yarar.
  • Hugging Face TGI: mevcut birçok kurulumda karşınıza çıkan servis aracı. Belgeleri artık bakım modunda olduğunu söylüyor ve vLLM ya da llama.cpp gibi motorları öneriyor.

vLLM ve llama.cpp, OpenAI uyumlu bir uç nokta sunar. Böylece uygulamalar barındırılan modelle yerel model arasında az değişiklikle geçiş yapabilir.

Şirket içi yapay zekâyı şirket verisine bağlamak

Model şirketiniz hakkında hiçbir şey bilmez. Yaygın yöntem belge üzerinde aramadır (RAG): belgeler parçalara bölünür ve PostgreSQL için pgvector ya da Qdrant gibi bir vektör veritabanında dizinlenir. Soru geldiğinde ilgili parçalar bulunur, model yanıtı bunlara dayanarak verir ve kaynağını gösterir.

İşin yanlış gittiği yer yetkilerdir. Arama, soruyu soran kişinin yetkilerine göre süzülmelidir; yoksa asistan dosya izinlerinizi dolanmanın bir yolu olur. ERP gibi yapısal sistemlere, ERP ve yapay zekâ entegrasyonu yazısında anlatıldığı gibi, salt okunur hesaplarla ve API üzerinden bağlanın.

Yerel modeli işletmek

  • İzleme: GPU belleği, kuyruk uzunluğu, yanıt süresi, hatalar.
  • Güncelleme: model sürümleri, servis yazılımı ve sürücüler. Her değişikliği sabit bir soru setiyle sınayın.
  • Kapasite: tepe yükü izleyin, bir sonraki donanım adımını erken planlayın.
  • Yedekleme: yapılandırma, istemler, belge dizini ve ağırlıkların doğrulanmış bir kopyası.
  • Erişim denetimi: kişiler için tek oturum açma (SSO), uygulamalar için ayrı anahtarlar.
  • Denetim kayıtları: kim ne sordu, hangi belgeler getirildi; saklama süresiyle birlikte.

Güvenlik: ağ yalıtımı, dışa çıkış yok, model tedarik zinciri

  • Ağ yalıtımı. Model sunucuları kendi ağ bölümünde durur ve yalnızca kimlik doğrulayan bir geçit üzerinden erişilir.
  • Dışa çıkış yok. Model sunucularından dışarı giden trafiği kapatın, güncellemeleri denetimli bir yansı üzerinden içeri alın.
  • Model tedarik zinciri. Ağırlıklar internetten inen dosyalardır. Hugging Face, pickle tabanlı model dosyalarının yüklenirken kod çalıştırabildiği ve kendi taramasının güvence olmadığı konusunda uyarıyor. Dosyayı yayıncının resmî hesabından indirin, safetensors ya da GGUF biçimini tercih edin, sürümü sabitleyin, özet değerlerini (checksum) kaydedin ve içeride bir kopya tutun.
  • Getirilen metin veridir. Belgelerin içinde modele yönelik talimatlar bulunabilir; modelin tetikleyebileceği işlemleri sınırlayın.

Aşamalı plan

  • 1. Tek bir kullanım senaryosu. Doğru yanıtı bilinen gerçek sorular toplayın.
  • 2. Veriyi sınıflandırın. Ne ağdan çıkabilir, ne çıkamaz.
  • 3. Pilot. İki üç açık ağırlıklı modeli küçük ya da kiralık donanımda karşılaştırın.
  • 4. Ölçün. Yanıt kalitesi, yanıt süresi, tepe eşzamanlılık.
  • 5. Üretim ortamını kurun. Servis katmanı, geçit, yetkili arama, izleme, kayıtlar.
  • 6. Yaygınlaştırın. Önce bir ekip, sonra diğerleri.

İşin örgütsel tarafını şirketlere yapay zekâ entegrasyonu nasıl yapılır yazısı ele alıyor.

Sık yapılan hatalar

  • Modeli denemeden GPU satın almak.
  • Modeli sıralama tablosuna göre seçmek.
  • Lisansı okumamak.
  • Dosya paylaşımlarını yetkileriyle birlikte taşımadan dizinlemek.
  • Model sunucularında dışa giden erişimi açık bırakmak.
  • İşletimin sahibi olmadan canlıya geçmek.

Başlamadan önce kontrol listesi

  • Kullanım senaryosu ve test soruları belirlendi
  • Veri sınıflandırıldı: ne içeride kalmalı
  • Model lisansı okundu ve onaylandı
  • Tepe eşzamanlı istek sayısı ölçüldü
  • Arama kullanıcı yetkilerine uyuyor
  • Dışa çıkış kapalı, ağırlıklar doğrulandı ve içeride yansılandı
  • İzleme, yedekleme, denetim kayıtları ve bir sorumlu hazır

Sık sorulan sorular

Yerel LLM kurulumu nedir?
Bir dil modelinin kendi denetiminizdeki sunucularda, kendi veri merkezinizde ya da bulut hesabınızda çalıştırılmasıdır. İstemler, belgeler ve yanıtlar bir sağlayıcının API'sinde değil, ağınızın içinde işlenir.

Yerel yapay zekâ hazır API'den daha ucuz mu?
Hacme bağlı. Hazır API jeton başına ücret alır. Yerel model başta donanım ve işletim gerektirir, sonra her yükte aşağı yukarı aynı maliyettedir. Düzenli ve yüksek hacimde yerel model, düşük ya da dalgalı hacimde API avantajlıdır.

Qwen'i şirket içinde ticari amaçla çalıştırabilir miyiz?
Qwen proje deposu, açık ağırlıklı modellerinin ticari kullanıma izin veren Apache 2.0 lisansıyla yayımlandığını belirtiyor. İndirdiğiniz modelin kendi lisans dosyasını yine de kontrol edin.

Şirket içi yapay zekâ için ne kadar GPU belleği gerekir?
Ağırlıklara, bağlama ve aynı anda işlenen isteklere yetecek kadar. Kuantizasyon ağırlıkların kapladığı belleği azaltır. Donanım almadan önce tepe eşzamanlılığı bir pilotta ölçün.

On-premise yapay zekâ KVKK uyumu için tek başına yeterli mi?
Hayır. Verinin harici bir sağlayıcıya aktarılmasını ortadan kaldırır; ama işlediğiniz kişisel veri için hukuki dayanak, erişim denetimi ve saklama kuralları yine gerekir.

Özet

Veri, bir sözleşme ya da tesis gerektiriyorsa modeli yerelde çalıştırın; gerektirmiyorsa hazır API kullanın. Tek bir kullanım senaryosuyla başlayın, ölçün ve donanımı ölçtüğünüze göre boyutlandırın.

Yerel bir model mi planlıyorsunuz? Graf Clouds; Qwen, Llama ve Mistral gibi açık ağırlıklı modelleri müşterinin kendi sunucularında, on-prem ya da kendi bulut hesabında çalıştırır. Altyapıyı boyutlandırıp kuruyor, modeli sistemlerinize bağlıyor ve sonrasında işletiyoruz: güncelleme, izleme ve kapasite. Bir üretici olan Presimsan için yerel yapay zekâyı bu şekilde kurduk. Ayrıntı için yerel yapay zekâ hizmetimize, yapay zekâ entegrasyonu sayfasına ya da barındırılan modeller için Claude ve OpenAI entegrasyonuna bakın. Bize yazın.

Kaynaklar ve ileri okuma