构建了一款完全在单个 GPU 上运行的本地优先 RAG 研究工具。该工具结合了工具调用和 RAG 方法，经过了一番探索。技术栈包括使用 Nemotron Nano 9B v2 日文模型和 vLLM（FP16，RTX 5090），后端采用 FastAPI、SQLite FTS5 和 Jinja2，所有功能集成在一个 app.py 文件中，同时使用 NVIDIA 的官方解析器插件进行工具调用和推理。系...