Kişisel verileriniz ile çalışan ve hepsi bir arada (All-in-One) bir AI yönetim platformunuz olsun ister misiniz? Üstelik sizin veya kurumunuzun hassas verilerinizi ilgili modele göndermeden ama onların kullanabileceği bir “bilgi” kaynağına dönüştürerek verilerinizin dışarı çıkmasını engelleyebilirsiniz. Normalde AI araçlarının verilerinizi anlayabilmesi için bir vektör veri tabanına (vector database) ve bu verileri modelin anlayabileceği dile çeviren bir embedder kurmanız gerekirken, AnythingLLM ile bu süreçleri hızlıca tamamlayabilirsiniz.
RAG Nedir?
RAG (Retrieval-Augmented Generation) araçlarını basitçe tanımlamak gerekirse; LLM’lerin dış dünyadan besleme yöntemi diyebiliriz. LLM’ler büyük eğitim paketlerinden geçerler, fakat bu eğitim paketleri kendi içlerinde her soruya cevap barındırmayabilirler. RAG sayesinde LLM’lerin sadece eğitim sırasında öğrendikleri veri setlerine bağlı kalmayıp, sorulan sorulara ilgili dökümanları bulup (Retrieval) bu dökümandaki verileri kullanarak cevap üretmesi sağlanır. (Generation)
RAG’ların Sağladığı Temel Faydalar
- Güncel Veri: LLM’lerin veri kesilme tarihleri vardır. Örneğin 2026 yılının Ocak ayında eğitilen modelde, Şubat ayında ortaya çıkan güncel veri setleri bünyesinde barındırmaz. RAG sayesinde güncel veriler, LLM’ler tarafından keşfedilerek, doğru bilgiyi vermeye çalışırlar.
- Doğruluğun Artması ve Halüsinasyonun Azalması: RAG sayesinde model, bir tahminden ziyade sizlerin verdiği dökümanlara bakarak doğru cevap vermeye çalışır ve bu sayede model halüsinasyonu azalır.
- Gizlilik ve Özelleştirme: Örneğin şirketinize dair hassas verileri öğrenmesi için ilgili modele vermeden, sadece verdiğiniz görev kapsamında kullanılmasını sağlayarak hassas verilerinizin diğer kullanıcılar tarafından erişilmesini engellersiniz.
- Maliyet: Modeli kendi veri setlerinize göre yeniden eğitmek (Fine-Tuning) oldukça zahmetli ve maliyetli bir yöntemdir. RAG sayesinde ise bu işlemi oldukça hızlı ve ekonomik bir şekilde tamamlayabilirsiniz.
RAG Olmazsa Olmaz Mı?
Bu soru aslında modeli ne için kullandığınıza göre değişir. Örneğin LLM’i gündelik hayatınızda, genel sohbet çerçevesinde kullanıyorsanız bir RAG’a ihtiyacınız bulunmaz. Fakat örneğin teknoloji dünyasında sürekli değişen güncel verilere ulaşım istiyorsanız, hukuk veya tıp alanında bir veriye ulaşırken halüsinasyon istemiyorsanız veya modeli kendi kişisel asistanınız gibi kullanmanızı ve bu nedenle eski notlarınıza da erişmesini istiyorsanız evet, RAG süreçlerini kolaylaştıracaktır.
AnythingLLM Nedir?
RAG’ın ne olduğunu ve hangi şartlarda kullanıldığını açıkladık. Yazımızın devamında kendi sunucunuzda, hafif ve güçlü bir RAG aracı olan AnythingLLM’i nasıl kurabileceğinize bakalım. Benim sanal sunucu ortamımda Coolify’ın v4 versiyonunu kullanarak bir kurulum gerçekleştirdim.
Kurulum
Yeni Kaynak Oluşturma
İlk olarak Coolify sunucumuza login olduktan sonra +New Resource diyerek yeni bir Docker Image oluşturuyoruz ve parametreleri aşağıdaki şekilde dolduruyoruz:
- Docker Image:
mintplexlabs/anythingllm(Benmintplexlabs/anything-llmşeklinde olmamasına dikkat edin. Aksi takdirde “access denied” hatası alabilirsiniz.) - Image Tag: latest
Ağ ve Domain Yapılandırması
Uygulamanın internet üzerinden erişilebilir olması için aşağıda ki ayarları yapmalısınız:
- Domains: https://anything.domain.com (SSL erişimi için https yazmayı unutmayın.)
- Port Exposes: 3001 (Anything’in kullandığı port)
- Port Mapping: Sadece bir domain üzerinden erişim olacaksa bu alanı boş bırakın.
Environment Variables Eklemek
Eğer kurulum sonrası loglarınızda TypeError [ERR_INVALID_ARG_TYPE] veya STORAGE_DIR environment variable is not set! hatası alıyorsanız ve konteyner sürekli Restarting durumunda kalıyorsa, şu iki işlemi yapmanız şarttır:
- Key: STORAGE_DIR
- Value:
/app/server/storage
Persistent Storage (Kalıcı Alan)
RAG eğitiminde kullandığınız dosya ve verilerin, sunucu yeniden başladığında veya güncelleme aldığında silinmesini istemiyorsanız bir storage eklemeniz gerekmektedir. Bunun için Persistent Storage alanına gelip, +Add dedikten sonra Volume Mount diyerek açılan ekranda aşağıdaki değeleri girmeniz gerekli:
- Persistent Storage sekmesinden bir volume oluşturun.
- Destination Path:
/app/server/storageolarak ayarlayın.
Cloudflare’de Invalid SSL 526 Hatası
Eğer DNS kayıtlarınız Cloudflare’de ise ve AnythingLLM’e erişirken tarayıcınızdan “Invalid SSL 526” hatası alıyorsanız, Cloudflare panelinizde ilgili domaine girdikten sonra SSL/TLS alanına gelip, Full (Strict) yöntemini Full olarak değiştirmeniz gerekecektir. Ortamınıza kurduğunuz AnytingLLM kendi sertifikasını (Let’s Encrypt) aldıktan sonra tekrardan Full Strict moduna geçebilirsiniz.
