RAG学习笔记

这是关于RAG技术学习各种优化技术开源代码的学习记录。

主要以jupyter的形式上传，便于在对应位置记录md笔记并减少重复操作次数 便于后续需要时再次查看

测试

所有的库都可直接使用pip进行安装，在测试之前需要有一个llm的API_KEY，我使用的是智谱的glm-4。 部分之前的代码直接定义了api，后为统一仓库管理需要在根目录下创建.env文件定义自己的API_KEY、llm_model、embedding_model

进度

	Notebook	Description
√	01. Simple RAG	简单的 RAG：基本的 RAG 实现
√	02. Semantic Chunking	语义切分：根据语义相似性分割文本，以形成更有意义的块。
√	03. Context Enriched Retrieval RAG	上下文增强检索：获取相邻块以提供更多上下文。
√	04. Contextual Chunk Headers	上下文分块标题：在嵌入之前，为每个片段添加描述性标题。
√	05. Document Augmentation RAG	文档增强：从文本片段生成问题以增强检索过程。
√	06. Query Transformation	查询转换：重新编写、扩展或分解查询以提高检索效果。包括回退提示和子查询分解。
√	07. Reranke	重新排序器：使用 LLM 对最初检索到的结果进行重排，以获得更好的相关性。
√	08. RSE	相关段落提取：识别并重建连续的文本段落，保留上下文。
√	09. Contextual Compression	上下文压缩：实现上下文压缩以过滤和压缩检索到的块，最大化相关信息。
	10. Feedback Loop	反馈循环：随时间推移，通过用户反馈学习并改进 RAG 系统。
	11. Adaptive RAG	适应性 RAG：根据查询类型动态选择最佳检索策略。
	12. Self RAG	Self-RAG：动态决定何时以及如何检索，评估相关性，并评估支持和效用。
	13. Fusion RAG	融合RAG：结合向量搜索和基于关键词（BM25）的检索，以改善结果。
√	14. Graph RAG	将知识组织为图，使相关概念能够遍历。
	15. Hierarchy RAG	构建层次索引（摘要+详细片段），以实现高效检索。
	16. HyDE RAG	使用假设文档嵌入来提高语义匹配。
	17. CRAG	纠错型RAG：动态评估检索质量，并使用网络搜索作为后备