Yapay Zekâ ve Lokal AI Altyapısı

Kurumsal lokal yapay zekâ (on-premise AI) nedir?

Bulut tabanlı yapay zekâ servislerinde (ChatGPT, Claude, Gemini) paylaştığınız her metin, tablo, kaynak kodu veya sözleşme sağlayıcının yurt dışındaki veri merkezlerinde işlenir. Kurumsal lokal yapay zekâ (on-premise AI) mimarisinde ise dil modelinin ağırlıkları, çıkarım motoru ve belge indeksi doğrudan şirketinizin kendi fiziksel sunucusunda, yerel iş istasyonunda veya özel ağında çalışır. Temel çalışma mantığını Lokal AI nedir? rehberimizde ayrıntılı olarak inceleyebilirsiniz.

Kurumların yerel yapay zekâ altyapısına geçiş yapmasının dört temel nedeni vardır:

• Veri gizliliği ve KVKK uyumu: Müşteri kayıtları, fiyat teklifleri, finansal tablolar, teknik çizimler, Ar-Ge projeleri, hasta veya öğrenci bilgileri şirket ağından dışarı çıkmaz. Yurt dışına veri aktarımı izinleri ve üçüncü taraf veri işleme riskleri ortadan kalkar.
• Öngörülebilir maliyet: Kullanıcı sayısı veya aylık sorgu (token) hacmi arttıkça büyüyen döviz bazlı abonelik faturaları oluşmaz. Donanım ve elektrik dışında çıkarım yazılımları ile açık ağırlıklı modeller ücretsizdir.
• Çevrimdışı ve kesintisiz çalışma: İnternet erişiminin kısıtlandığı üretim sahalarında, izole fabrika ağlarında (air-gapped) veya okul laboratuvarlarında dış bağlantıya ihtiyaç duymadan çalışır.
• Sürüm ve çıktı kararlılığı: İş akışlarınıza bağladığınız model sağlayıcı kararıyla bir gecede değişmez; test ettiğiniz istem (prompt) davranışı ve yanıt biçimi sabit kalır.

Neler kuruyoruz? Hizmet kapsamı

Konya merkezli ekibimizle yerinde veya güvenli uzak bağlantı üzerinden, kurumunuzun ölçeğine göre aşağıdaki bileşenleri uçtan uca planlıyor ve devreye alıyoruz:

1. İhtiyaç analizi ve GPU sunucu boyutlandırma

Eşzamanlı kullanıcı sayınızı, işlenecek belge hacmini, bağlam penceresi (context window) ihtiyacını ve hedef yanıt hızını (token/saniye) ölçerek doğru donanım profilini çıkarıyoruz. Mevcut sunucularınızı değerlendiriyor; yeni yatırım gerekiyorsa tekli/çoklu NVIDIA GPU sunucu veya birleşik bellekli (Unified Memory) iş istasyonu yapılandırmasını belirliyoruz.

2. Çıkarım motoru ve açık ağırlıklı model kurulumu

Sunucu işletim sistemi, GPU sürücüleri (CUDA, ROCm) ve konteyner altyapısını hazırlıyoruz. Kullanım senaryosuna göre Ollama, yüksek eşzamanlı kurumsal trafik için vLLM, llama.cpp veya masaüstü ortamlar için LM Studio kurulumunu yapıyoruz. Görevlerinize uygun açık ağırlıklı dil ve görsel modelleri (Qwen, Llama, Gemma, Mistral, DeepSeek) Türkçe başarımı ve bellek verimliliği (Q4, Q8, FP16 nicemleme) dengesine göre optimize ediyoruz.

3. Çok kullanıcılı kurum içi arayüz (Open WebUI)

Ekiplerinizin terminal komutlarıyla uğraşmadan, tarayıcı üzerinden ChatGPT alışkanlığıyla kullanabileceği Open WebUI platformunu yerel ağınızda kuruyoruz. Departman ve rol bazlı erişim yetkilerini, kullanıcı hesaplarını, sohbet geçmişi politikalarını ve her departmana özel hazır asistan profillerini yapılandırıyoruz.

4. Kurumsal bilgi tabanı ve belge asistanı (Yerel RAG)

Şirket içi PDF, Word, Excel, teknik şartname, ürün kataloğu, bakım kılavuzu ve prosedür dokümanlarınızı yerel gömme (embedding) modelleri ve vektör veritabanı üzerinde indeksliyoruz. Kurulan RAG (Retrieval-Augmented Generation) yapısı sayesinde asistanınız uydurma yanıt vermez; yalnızca kurum belgelerinize dayanarak ve kaynak dokümanı referans göstererek soruları yanıtlar.

5. İç yazılım, veritabanı ve MCP entegrasyonu

Yerel dil modelini yalnızca sohbet ekranında bırakmıyor; OpenAI uyumlu yerel REST API veya MCP (Model Context Protocol) sunucuları aracılığıyla mevcut ERP, CRM, e-ticaret, destek bileti ve iç yönetim panellerinize bağlıyoruz. Özel arayüz, süreç otomasyonu veya sıfırdan yazılım ihtiyaçlarınızda Web Yazılım ve Dijital Dönüşüm hizmetimizle entegre geliştirme yapıyoruz.

6. Güvenlik sıkılaştırması, ekip eğitimi ve bakım

Yerel ağ güvenlik duvarı kurallarını, iç alan adı ve HTTPS ters vekil (Nginx, Caddy) ayarlarını, otomatik yedekleme düzenini ve yetki sınırlarını kuruyoruz. Teslim aşamasında teknik ekibinize yönetim eğitimini, son kullanıcılara ise verimli istem (prompt) yazma eğitimini veriyoruz.

Bulut AI, lokal AI ve hibrit mimari karşılaştırması

Her kurumun gizlilik sınırı ve bütçesi farklıdır. Aşağıdaki tablo, tamamen bulut kullanımı ile şirket içi lokal kurulum ve ikisini birleştiren hibrit mimari arasındaki farkları özetler:

Ölçüt	Bulut AI (ChatGPT, Claude, Gemini)	Lokal AI (Şirket İçi Sunucu)	Hibrit Mimari (Lokal + Bulut)
Veri konumu ve KVKK	Veriler sağlayıcının dış sunucularında işlenir	Tüm istemler, belgeler ve geçmiş kurum ağında kalır	Hassas veri yerelde, genel ve açık veriler bulutta işlenir
Maliyet yapısı	Kullanıcı veya token başına sürekli döviz ödemesi	Donanım ve elektrik; model ve arayüz yazılımları ücretsiz	Yoğun günlük işler yerelde ücretsiz, zor görevlerde kontrollü API
İnternet bağımlılığı	Kesintisiz internet bağlantısı zorunlu	Yalnızca kurulumda gerekir; tamamen çevrimdışı çalışabilir	Lokal asistan ve belge arama çevrimdışı çalışmaya devam eder
Model kapasitesi	En büyük genel amaçlı bulut modelleri	Sunucu belleğine (VRAM) göre 7B ile 70B+ arası modeller	Rutin görevlerde hızlı lokal model, karmaşık analizde bulut ajanı
İç sistemlere erişim	Veriyi dışarı açmak veya buluta yüklemek gerekir	Yerel veritabanı ve dosya sunucusuna doğrudan bağlanır	MCP ile yetki sınırları çizilmiş, maskeli ve denetimli erişim
Önerilen kullanım	Gizlilik kısıtı olmayan bireysel ve küçük ekipler	KVKK hassasiyeti yüksek şirketler, fabrikalar, okullar	Yazılım ekipleri, e-ticaret ve büyüyen KOBİ'ler

Kullandığımız araçlar, çıkarım motorları ve modeller

Kurulumlarımızda kapalı kutu veya bağımlılık yaratan ticari lisanslar yerine, endüstri standardı haline gelmiş açık kaynaklı ve denetlenebilir teknolojileri tercih ediyoruz:

• Çıkarım motorları (Inference): Hızlı kurulum ve model yönetimi için Ollama ve llama.cpp; çok kullanıcılı üretim ortamlarında yüksek paralel istek kapasitesi (continuous batching) için vLLM; masaüstü değerlendirme için LM Studio.
• Kurumsal arayüz ve RAG: Open WebUI, yerel vektör indeksleme, çoklu model karşılaştırma, departman bazlı belge koleksiyonları ve sesli/görsel girdi desteği.
• Açık ağırlıklı dil modelleri: Türkçe yazışma, özetleme ve sınıflandırmada güçlü Qwen 3 ve Google Gemma 3/4 aileleri; genel amaçlı kurumsal görevlerde Meta Llama 3.x ve Mistral; adım adım akıl yürütme ve teknik analizde DeepSeek R1; kod tamamlama ve incelemede Qwen Coder; görsel ve taranmış evrak okumada Qwen VL ve Gemma Vision (model seçimi tablosu).
• Yazılım ajanları ve standart protokoller: Geliştirici ekipleri için yerel modellerin yanında Claude Code, OpenAI Codex ve Google Antigravity araçlarının AGENTS.md / CLAUDE.md proje kuralları ve MCP sunucuları ile güvenli kurumsal iş akışına bağlanması (üç aracın karşılaştırması).

Kurum ölçeğine göre donanım ve kapasite tablosu

Lokal yapay zekâda performansı belirleyen ana darboğaz ekran kartı belleği (VRAM) veya birleşik bellek kapasitesidir. Kurulum öncesinde gereksiz donanım maliyetini önlemek için aşağıdaki ölçek tablosunu temel alıyoruz:

Kurum Ölçeği	Örnek Donanım Profili	Model Sınıfı	Tipik Kurumsal Senaryo
Uzman / Küçük Atölye (1-5 kişi)	12-16 GB VRAM GPU (RTX 4060 Ti / 4070 Ti) veya 16-24 GB Apple Silicon Mac	7B - 14B (Q4/Q8)	E-posta ve teklif taslağı, toplantı ve belge özeti, yerel kod tamamlama
KOBİ / Departman / Okul (5-20 kişi)	24 GB VRAM GPU (RTX 3090 / 4090) veya 32-64 GB birleşik bellekli iş istasyonu	14B - 32B + yerel embedding	Open WebUI ile ekip içi sohbet, şirket prosedürleri ve PDF arşivinde soru-cevap (RAG)
Kurumsal Üretim (20+ eşzamanlı kullanıcı)	Çift GPU'lu sunucu (48-96 GB+ VRAM) veya 64-128 GB+ yüksek bellekli sunucu (vLLM)	32B - 70B+ ve paralel kuyruk	Çok departmanlı bilgi tabanı, ERP/CRM ve iç yazılımlara API ve MCP üzerinden anlık yanıt

Sektörlere ve ekiplere göre kullanım senaryoları

• Üretim tesisleri, sanayi ve mühendislik atölyeleri: Makine bakım kılavuzları, arıza kayıtları, kalite kontrol prosedürleri, teknik şartnameler ve CAD/3D baskı dokümanları üzerinde çalışan iç asistan. Operatör ve mühendisler yüzlerce sayfalık kılavuzda aradıkları parametreyi saniyeler içinde bulur; üretim verisi tesis dışına çıkmaz.
• KOBİ'ler, e-ticaret, hukuk ve mali müşavirlik ofisleri: Sözleşme maddeleri, mevzuat metinleri, geçmiş teklif dosyaları ve ürün katalogları içinde anlamsal arama; müşteri destek taleplerini sınıflandırma, ürün açıklaması üretme ve kurumsal dilde yanıt taslağı hazırlama.
• Okullar, üniversiteler ve STEM laboratuvarları: Dış internet erişimi kısıtlı sınıf ortamlarında öğrencilerin yapay zekâ modellerini, istem mühendisliğini ve yerel API kullanımını güvenli şekilde deneyimlemesi. Robot Teknolojileri ve STEM Eğitimi ve atölye kurulumlarımızla doğrudan bütünleşir.
• Yazılım ve bilgi işlem (BT) ekipleri: Şirket kaynak kodunu dışarı açmadan yerel kod tamamlama, sunucu log ve hata analizi, iç veritabanlarına MCP ile salt okunur sorgu bağlama ve kodlama ajanları için standart görev şablonları oluşturma.

Adım adım kurulum ve teslim süreci

1. Keşif ve görev analizi: Hangi departmanların hangi belge türleriyle ve iş akışlarıyla çalışacağını, gizlilik gereksinimlerini ve eşzamanlı kullanıcı sayısını birlikte netleştiriyoruz.
2. Donanım ve model seçimi: Mevcut sunucu veya bilgisayarlarınızı test ediyor; yeni donanım gerekiyorsa bütçenize ve hedef model boyutuna uygun teknik şartnameyi çıkarıyoruz. Kendi örnek metinlerinizle aday modelleri (Qwen, Gemma, Llama) karşılaştırıyoruz.
3. Yerel kurulum ve ağ izolasyonu: İşletim sistemi, GPU sürücüleri, çıkarım motoru (Ollama / vLLM), seçilen dil modelleri ve Open WebUI arayüzünü yerel ağınızda dış dünyaya kapalı şekilde kuruyoruz.
4. Bilgi tabanı (RAG) ve yazılım entegrasyonu: Kurum dokümanlarınızı vektör indeksine alıyor, departmanlara özel sistem istemlerini yazıyor ve iç yazılımlarınıza API veya MCP bağlantılarını gerçekleştiriyoruz.
5. Doğrulama, eğitim ve devir: Gerçek iş sorularınızla yanıt kalitesini ve hızı doğruluyor; yönetici ve kullanıcı eğitimlerini tamamlayarak sistemi yazılı bakım kılavuzuyla devrediyoruz.

Sık sorulan sorular

Lokal yapay zekâ kurulumunda verilerimiz internetten tamamen izole çalışır mı?

Evet. Dil modelleri ve arayüz paketleri sunucunuza indirildikten sonra çıkarım motoru, vektör veritabanı ve web arayüzü tamamen yerel ağınızda (LAN/intranet) çalışır. Talebinize göre sunucunun dış internet çıkışı tamamen kapatılarak (air-gapped) çalıştırılabilir.

Mevcut sunucumuza veya bilgisayarımıza kurulum yapılabilir mi?

Evet. Keşif aşamasında mevcut sunucu veya iş istasyonunuzun işlemci, RAM, disk ve ekran kartı (VRAM) kapasitesini inceliyoruz. Donanımınız hedeflediğiniz model boyutu için yeterliyse yeni cihaz yatırımı yapmadan doğrudan mevcut altyapınıza kurulum gerçekleştiriyoruz.

Lokal modeller Türkçe metinlerde ve şirket belgelerinde yeterli başarıyı sağlıyor mu?

Qwen 3, Gemma 3/4 ve Llama 3.x ailelerinin güncel sürümleri Türkçe özetleme, sınıflandırma, kurumsal yazışma ve belge üzerinden soru-cevap (RAG) görevlerinde yüksek doğruluk sunar. Kurulum sırasında kendi kurum metinlerinizle farklı modelleri yan yana deneyerek işinize en uygun modeli seçiyoruz.

Kurulumdan sonra aylık abonelik veya kullanıcı başı lisans ücreti ödenir mi?

Hayır. Kurduğumuz çıkarım motorları (Ollama, vLLM), web arayüzü (Open WebUI) ve açık ağırlıklı dil modelleri açık kaynaklıdır. Kullanıcı başına, mesaj başına veya token başına aylık abonelik ücreti yoktur.

Şirket içi PDF, Word ve Excel dosyalarımızı asistana nasıl öğretiyoruz?

Belgeleriniz modeli sıfırdan eğitmek yerine yerel bilgi tabanına (RAG) yüklenir ve vektör indeksine alınır. Kullanıcı bir soru sorduğunda sistem önce belgelerinizdeki ilgili bölümleri bulur ve yanıtı yalnızca o kaynağa dayanarak üretir. Yeni belge eklendiğinde veya güncellendiğinde bilgi tabanı dakikalar içinde yenilenir.

Konya dışındaki kurumlara da kurulum ve destek veriyor musunuz?

Evet. Konya merkezli ekibimizle yerinde kurulumun yanı sıra güvenli uzak bağlantı (VPN/SSH) üzerinden Türkiye genelindeki kurumlara donanım danışmanlığı, lokal AI kurulumu, entegrasyon ve eğitim hizmeti sunuyoruz.