解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
创始人
2025-01-20 16:35:12
0次

由于服务器是离线的,因此我先在本地到huggingface官网下载模型text2vec,然后上传到服务器上运行,报错:

(MaxRetryError('HTTPSConnectionPool(host=\'huggingface.co\', port=443): Max retries exceeded with url: /api/models/sentence-transformers/text2vec-base-chinese/revision/main (Caused by NameResolutionError(": Failed to resolve \'huggingface.co\' ([Errno -3] Temporary failure in name resolution)"))'), '(Request ID: d787098f-eabd-4f11-8150-623bd99a55e2)')

An error happened while trying to locate the files on the Hub and we cannot find the appropriate snapshot folder for the specified revision on the local disk. Please check your internet connection and try again.

huggingface_hub.utils._errors.LocalEntryNotFoundError: Cannot find an appropriate cached snapshot folder for the specified revision on the local disk and outgoing traffic has been disabled. To enable repo look-ups and downloads online, pass 'local_files_only=False' as input.
 

HuggingFaceEmbeddings它识别不了这个路径下的文件,因此我将cache_folder的值换成'shibing624/text2vec-base-chinese'依然报相同的错误。

然后我去官网看如何调用这个模型,选择了下面这种方式:

再次报错:

 db = store_chroma(documents,embeddings)

AttributeError: 'BertModel' object has no attribute 'embed_documents'

也就是说加载完向量化模型后,我初始化了Chroma向量数据库,然后对传入的doc文档数据进行向量化,它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的,但是Chroma却需要调用这个属性来实现文档向量化(通过HuggingFaceEmbeddings来加载模型就不会报错,但是离线服务器上用不了)。因此,自己写一个embed_documents来实现就好啦,如下所示:

先在load_embedding_mode里面添加一个方法embedding_function,然后再建立一个类:

最后再调用这个类,就能正常对文档进行向量化和本地持久化了。

embedding_function = EmbeddingFunction(load_embedding_mode()) db = Chroma(embedding_function=embedding_function, persist_directory='VectorStore')

相关内容

热门资讯

微扑克总结!德扑之星能开挂透视... 微扑克总结!德扑之星能开挂透视吗(辅助),总是真的有辅助工具是一款可以让一直输的玩家,快速成为一个“...
WePoKer必备!德扑之星是... 您好,德扑之星是不是有人用挂这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多...
aapoker必备!wepok... 一款 AI 游戏攻略黑科技工具上线,查攻略效率直接开挂。它整合版本更新、装备搭配、BOSS 打法、牌...
菠萝智星德州普及!WePoKe... 菠萝智星德州普及!WePoKer辅助挂怎么下载(透视挂),好像有透视挂脚本是一款可以让一直输的玩家,...
WePoKer揭露!wepok... 您好,wepoker辅助工具好用吗这款游戏可以开挂的,确实是有挂的,需要了解加微【485275054...
德扑之星总结!wepoker有... 很多人使用云端 AI 时,都担心wepoker有挂吗作弊、内部资料上传带来隐私风险。这款本地运行的 ...
红龙PoKer解谜!安卓wep... 您好:安卓wepoker德州透视挂下载这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会...
wpk分享!wepokerpu... wpk分享!wepokerpus透视挂是真的假的(辅助器),素来真的有辅助器神器是一款可以让一直输的...
aapoker总结!wepok... AI 黑科技赛道又上新,这款智能处理工具堪称效率开挂,专门面向短视频创作者打造。它打通脚本撰写、AI...
微扑克曝光!runit德州透视... 微扑克曝光!runit德州透视软件辅助挂(开挂),一向有开挂插件是一款可以让一直输的玩家,快速成为一...