解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
创始人
2025-01-20 16:35:12
0

由于服务器是离线的,因此我先在本地到huggingface官网下载模型text2vec,然后上传到服务器上运行,报错:

(MaxRetryError('HTTPSConnectionPool(host=\'huggingface.co\', port=443): Max retries exceeded with url: /api/models/sentence-transformers/text2vec-base-chinese/revision/main (Caused by NameResolutionError(": Failed to resolve \'huggingface.co\' ([Errno -3] Temporary failure in name resolution)"))'), '(Request ID: d787098f-eabd-4f11-8150-623bd99a55e2)')

An error happened while trying to locate the files on the Hub and we cannot find the appropriate snapshot folder for the specified revision on the local disk. Please check your internet connection and try again.

huggingface_hub.utils._errors.LocalEntryNotFoundError: Cannot find an appropriate cached snapshot folder for the specified revision on the local disk and outgoing traffic has been disabled. To enable repo look-ups and downloads online, pass 'local_files_only=False' as input.
 

HuggingFaceEmbeddings它识别不了这个路径下的文件,因此我将cache_folder的值换成'shibing624/text2vec-base-chinese'依然报相同的错误。

然后我去官网看如何调用这个模型,选择了下面这种方式:

再次报错:

 db = store_chroma(documents,embeddings)

AttributeError: 'BertModel' object has no attribute 'embed_documents'

也就是说加载完向量化模型后,我初始化了Chroma向量数据库,然后对传入的doc文档数据进行向量化,它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的,但是Chroma却需要调用这个属性来实现文档向量化(通过HuggingFaceEmbeddings来加载模型就不会报错,但是离线服务器上用不了)。因此,自己写一个embed_documents来实现就好啦,如下所示:

先在load_embedding_mode里面添加一个方法embedding_function,然后再建立一个类:

最后再调用这个类,就能正常对文档进行向量化和本地持久化了。

embedding_function = EmbeddingFunction(load_embedding_mode()) db = Chroma(embedding_function=embedding_function, persist_directory='VectorStore')

相关内容

热门资讯

分享一款!吉安中至小程序微信辅... 分享一款!吉安中至小程序微信辅助(揭露辅助工具)本来有透视指引进入游戏-大厅左侧-新手福利-激活码辅...
记者揭秘!潮汕来物局开挂方法(... 记者揭秘!潮汕来物局开挂方法(详情辅助工具)一贯有透视方针潮汕来物局开挂方法破解侠是真的助透视。每个...
今日公布!湘竞技辅助(普及辅助... 今日公布!湘竞技辅助(普及辅助工具)一贯有透视妙招1、进入游戏-大厅左侧-新手福利-激活码辅助透视技...
实测必看!闲逸亲友圈辅助下载(... 实测必看!闲逸亲友圈辅助下载(必备辅助器)原来有透视烘培1、金币登录送、破产送、升级送、活动送。详细...
来一盘!上饶打炸漏洞(总结辅助... 来一盘!上饶打炸漏洞(总结辅助攻略)一直有透视法门1)上饶打炸漏洞有没有挂:进一步探索上饶打炸漏洞有...
安装程序教程!广西友乐免费辅助... 安装程序教程!广西友乐免费辅助使用视频(曝光辅助工具)真是有透视教材1、进入游戏-大厅左侧-新手福利...
今日焦点!福建兄弟十三水挂件去... 今日焦点!福建兄弟十三水挂件去那买(有挂辅助方法)其实有透视办法1、金币登录送、破产送、升级送、活动...
揭秘一下!情怀莆仙外挂(了解辅... 揭秘一下!情怀莆仙外挂(了解辅助技巧)切实有透视办法所有人都在同一条线上,像星星一样排成一排,每一代...
教程攻略!广东雀神智能插件辅助... 教程攻略!广东雀神智能插件辅助脚本(揭露辅助方法)竟然有透视资料1、全新机制【广东雀神智能插件辅助脚...
今日公布!同城游破解版下载(分... 今日公布!同城游破解版下载(分享辅助教程)竟然有透视模块1、完成同城游破解版下载辅助器v3.3的残局...