项目
博客
归档
资源链接
关于我
项目
博客
归档
资源链接
关于我
RAG-Embedding-Vector基础内容总结
2025-05-27
·
·
原创
·
·
本文共 145个字，预计阅读需要 1分钟。
内容预告： 1. Vector Store向量存储与检索 - Chrom向量数据库使用 - 向量数据库选型 2. RAG高级进阶实战 - 文本分割粒度 - 检索后排序 - Re-Ranker模型 - 混合检索(Hybrid Search) - RRF 3. PDF文档表格处理 4. GraphRAG基本介绍 内容总结： 当前大模型优化分为两种方式(两派)： - RAG - 扩大上下文: 提高上下文长度，降低模型的遗忘 rag系统基本需要用到两个模型 - embedded模型 - 采用openai的线上模型 - 向量模型的精确度直接影响query相似度检索的文档召回率(检索的准确率结果) - 文本生成模型(对话模型) - 采用本地私有化部署模型 两个重要的参数： - chunk_size 一般根据文档内容或大小来设置 - overlap_size 一般设置 chunk_size 大小的10%-20%之间 文本切割 - chunksize和overlap来重叠切割 - \n\n\n基于某些规则来切分的 - 对于复杂的文本的切分 - NSP任务来进行微调训练（拿自己业务的数据来喂投） - A和B两个句子(段落)是否有关系 - 若有关系则进行合并 检索后的排序 - 京东购物 - 搜索 - 混合检索 RAGFlow GraphRAG 海量数据 =>不推荐 rag 开发 llamaindex: 数据增强框架 > 本次对话深入探讨了AI大模型技术，特别是检索增强生成（RAG）系统在处理复杂文档如PDF、表格和图片中的应用。讨论涵盖了文本切割优化、自然语言处理技术（NLP）如NLTK库和sentence transformer模型的使用，以及检索后排序（re-ranking）的重要性。针对PDF中表格和图片的处理挑战，介绍了将PDF页面转换为图片并使用深度学习模型识别和提取信息的方法。此外，还讨论了向量数据库（Vector Database）在AI大模型应用中的关键作用，包括Chroma向量数据库的不同实例化方式及其应用场景。通过引入混合检索（Hybrid Retrieval）和RF算法，融合了关键字检索和向量检索的结果，以达到更优的检索效果。最后，强调了在企业环境中实现RAG系统的流程，包括文档解析、切割、向量化和存储，以及如何根据需求合理选择和部署向量数据库以应对高并发和大数据量的挑战。