Локальный RAG по технической документации: Ollama + OpenWebUI на своём железе
У любого инженера, работающего с вендорскими системами, есть личная боль: сотни PDF — спецификации протоколов, мануалы, интеграционные описания. Поиск по ним — это «открой семь документов и Ctrl+F в каждом». Отдавать такие документы в облачные LLM нельзя. Решение — полностью локальный RAG: свои модели, свои документы, ничего не покидает домашнюю сеть. Здесь — моя рабочая конфигурация: RTX 3060 12 ГБ, Ollama, OpenWebUI, ~200 увесистых PDF, и три неочевидных настройки, без которых на моделях 7B RAG просто не работает. ...