2025全栈架构与开发
AI 知识库问答平台
FastAPINext.jsPostgreSQLpgvectorRAG
Overview
该项目旨在解决企业内部海量非结构化文档的检索与问答难题。通过构建基于大语言模型（LLM）和检索增强生成（RAG）技术的知识库问答平台，员工可以通过自然语言提问，系统自动从企业知识库中检索相关片段，并生成带有引用溯源的准确回答。
Challenges
- 01
复杂文档解析：PDF、Word 等格式中包含大量表格、图片和复杂排版，传统解析工具容易丢失上下文。
- 02
检索准确率：单纯的向量检索在特定专业术语和长尾问题上表现不佳。
- 03
流式响应体验：LLM 生成速度较慢，需要通过 SSE 实现打字机效果，同时保证引用溯源数据的同步返回。
Solutions
- 01
采用基于视觉的文档解析方案（如 Unstructured / 结合多模态模型），提取结构化文本并保留层级关系。
- 02
引入混合检索（Hybrid Search）：结合 BM25 关键词检索与 pgvector 向量检索，并通过 Reranker 模型进行重排，大幅提升 Top-K 召回质量。
- 03
基于 FastAPI 实现全链路异步流式接口（SSE），前端使用 Vercel AI SDK 消费流数据，实现丝滑的对话体验。