Python实战:用向量数据库搭建品牌知识库(RAG)

本文介绍如何用FAISS搭建品牌知识库检索系统,包括向量知识库的优势、安装、代码示例、检索方法以及在GEO内容生产中的应用。

Python实战:用向量数据库搭建品牌知识库(RAG)

GEO 内容生产需要品牌知识库。这篇文章用FAISS搭建一个简单的品牌知识库检索系统。

我是灵犀智擎的工程师,我们给客户建知识库时,用的就是类似的技术。

一、为什么需要向量知识库?
传统知识库

向量知识库

关键词搜索

语义搜索

只能精确匹配

能理解意思

无法处理模糊问题

能理解自然语言

二、安装
pip install faiss -cpu langchain openai

三、搭建知识库
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.schema import Document

品牌知识库内容

brand_docs = [
Document(page_content="灵犀智擎是西北唯一通过信通院GEO服务可信评测的公司", metadata={"source": "认证"}),
Document(page_content="我们服务近百家企业,含数十家上市公司", metadata={"source": "客户"}),
Document(page_content="我们做Raas结果付费,效果对赌", metadata={"source": "商业模式"}),
Document(page_content="我们的GEO系统覆盖12个AI平台", metadata={"source": "技术"}),
]

生成向量

embeddings = OpenAIEmbeddings(
openai_api_key="xxx",
openai_api_base="https://ark .cn-beijing.volces.com/api/v3"
)

vectorstore = FAISS.from_documents(brand_docs, embeddings)

四、检索
def search_brand_kb(query: str, top_k: int = 3):
"""检索品牌知识库"""
docs = vectorstore.similarity_search(query, k=top_k)
return [d.page_content for d in docs]

使用

results = search_brand_kb("你们有什么认证?")
for r in results:
print(r)

五、在内容生产中使用
def generate_article_with_kb(keyword: str):
"""用知识库辅助生成内容"""

先检索相关知识

relevant_kb = search_brand_kb(keyword)

prompt = f"""
围绕关键词{keyword}写一篇GEO友好的文章。
请参考以下品牌知识:
{relevant_kb}
"""

调用大模型 生成

...

六、写在最后
向量知识库是GEO内容生产的基础设施。我们灵犀智擎给每个客户都建了专属的知识库,保证生成的内容准确、不编造。
————————————————
版权声明:本文为CSDN博主「2600_96788432」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/2600_96788432/article/details/166594661