解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
创始人
2025-01-20 16:35:12
0

由于服务器是离线的,因此我先在本地到huggingface官网下载模型text2vec,然后上传到服务器上运行,报错:

(MaxRetryError('HTTPSConnectionPool(host=\'huggingface.co\', port=443): Max retries exceeded with url: /api/models/sentence-transformers/text2vec-base-chinese/revision/main (Caused by NameResolutionError(": Failed to resolve \'huggingface.co\' ([Errno -3] Temporary failure in name resolution)"))'), '(Request ID: d787098f-eabd-4f11-8150-623bd99a55e2)')

An error happened while trying to locate the files on the Hub and we cannot find the appropriate snapshot folder for the specified revision on the local disk. Please check your internet connection and try again.

huggingface_hub.utils._errors.LocalEntryNotFoundError: Cannot find an appropriate cached snapshot folder for the specified revision on the local disk and outgoing traffic has been disabled. To enable repo look-ups and downloads online, pass 'local_files_only=False' as input.
 

HuggingFaceEmbeddings它识别不了这个路径下的文件,因此我将cache_folder的值换成'shibing624/text2vec-base-chinese'依然报相同的错误。

然后我去官网看如何调用这个模型,选择了下面这种方式:

再次报错:

 db = store_chroma(documents,embeddings)

AttributeError: 'BertModel' object has no attribute 'embed_documents'

也就是说加载完向量化模型后,我初始化了Chroma向量数据库,然后对传入的doc文档数据进行向量化,它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的,但是Chroma却需要调用这个属性来实现文档向量化(通过HuggingFaceEmbeddings来加载模型就不会报错,但是离线服务器上用不了)。因此,自己写一个embed_documents来实现就好啦,如下所示:

先在load_embedding_mode里面添加一个方法embedding_function,然后再建立一个类:

最后再调用这个类,就能正常对文档进行向量化和本地持久化了。

embedding_function = EmbeddingFunction(load_embedding_mode()) db = Chroma(embedding_function=embedding_function, persist_directory='VectorStore')

相关内容

热门资讯

此事备受玩家关注!菠萝辅助器免... 此事备受玩家关注!菠萝辅助器免费版的功能介绍,wepoker私人局透视插件,指南书教程(一贯透视是有...
据监测!游戏老友地方有脚本吗,... 据监测!游戏老友地方有脚本吗,情怀宜春辅助挂定制交易平台,大纲教程(一直确实是有挂)-哔哩哔哩1、下...
连日来!哈糖大菠萝免费辅助器,... 较多好评“微乐万能挂官网”开挂(透视)辅助教程 了解更多开挂安装加(136704302)微信号是一款...
长期以来!星悦软件辅助,约战竞... 较多好评“微乐万能挂官网”开挂(透视)辅助教程 了解更多开挂安装加(136704302)微信号是一款...
据了解!wepoker私人局辅... 据了解!wepoker私人局辅助,we-poker辅助,方案教程(果然透视真的是有挂)-哔哩哔哩;打...
据报道!越乡游义乌透视软件,创... 据报道!越乡游义乌透视软件,创思维激k辅助器,方针教程(果然是有挂的)-哔哩哔哩 >>您好:软件加薇...
出乎意料的是!智星德州插件怎么... 出乎意料的是!智星德州插件怎么下载,wepoker手机版辅助,手册教程(原来透视是有挂)-哔哩哔哩1...
近日!新荣耀平台辅助,创思维辅... 近日!新荣耀平台辅助,创思维辅助器,步骤教程(其实确实是有挂)-哔哩哔哩1、下载安装好新荣耀平台辅助...
据公告内容!德州局脚本,wep... 据公告内容!德州局脚本,wepoker破解器激活码,方案教程(果然透视真的是有挂)-哔哩哔哩>>您好...
目前!财神13张辅助器下载,越... 较多好评“微乐万能挂官网”开挂(透视)辅助教程 了解更多开挂安装加(136704302)微信号是一款...