解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
创始人
2025-01-20 16:35:12
0

由于服务器是离线的,因此我先在本地到huggingface官网下载模型text2vec,然后上传到服务器上运行,报错:

(MaxRetryError('HTTPSConnectionPool(host=\'huggingface.co\', port=443): Max retries exceeded with url: /api/models/sentence-transformers/text2vec-base-chinese/revision/main (Caused by NameResolutionError(": Failed to resolve \'huggingface.co\' ([Errno -3] Temporary failure in name resolution)"))'), '(Request ID: d787098f-eabd-4f11-8150-623bd99a55e2)')

An error happened while trying to locate the files on the Hub and we cannot find the appropriate snapshot folder for the specified revision on the local disk. Please check your internet connection and try again.

huggingface_hub.utils._errors.LocalEntryNotFoundError: Cannot find an appropriate cached snapshot folder for the specified revision on the local disk and outgoing traffic has been disabled. To enable repo look-ups and downloads online, pass 'local_files_only=False' as input.
 

HuggingFaceEmbeddings它识别不了这个路径下的文件,因此我将cache_folder的值换成'shibing624/text2vec-base-chinese'依然报相同的错误。

然后我去官网看如何调用这个模型,选择了下面这种方式:

再次报错:

 db = store_chroma(documents,embeddings)

AttributeError: 'BertModel' object has no attribute 'embed_documents'

也就是说加载完向量化模型后,我初始化了Chroma向量数据库,然后对传入的doc文档数据进行向量化,它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的,但是Chroma却需要调用这个属性来实现文档向量化(通过HuggingFaceEmbeddings来加载模型就不会报错,但是离线服务器上用不了)。因此,自己写一个embed_documents来实现就好啦,如下所示:

先在load_embedding_mode里面添加一个方法embedding_function,然后再建立一个类:

最后再调用这个类,就能正常对文档进行向量化和本地持久化了。

embedding_function = EmbeddingFunction(load_embedding_mode()) db = Chroma(embedding_function=embedding_function, persist_directory='VectorStore')

相关内容

热门资讯

透视黑科技!德州ai辅助软件,... 透视黑科技!德州ai辅助软件,(德扑ai)其实存在有挂(详细辅助专业教程)所有人都在同一条线上,像星...
透视计算(wpK)wpk透视辅... 透视计算(wpK)wpk透视辅助工具(透视)详细辅助实用技巧(竟然真的有挂);1、这是跨平台的wpk...
透视软件(aapOker)aa... 透视软件(aapOker)aapoker发牌机制(透视)本来真的是有挂(详细辅助揭秘教程)1、操作简...
透视教程!智星德州菠萝开挂,(... 透视教程!智星德州菠萝开挂,(德州wepower)一直真的是有挂(详细辅助大神讲解)1、智星德州菠萝...
透视科技(wpK)wpk有辅助... 透视科技(wpK)wpk有辅助挂(透视)详细辅助透视教程(果然真的有挂);1、超多福利:超高返利,海...
透视免费(aApoker)aa... 透视免费(aApoker)aapoker外挂(透视)一直真的有挂(详细辅助细节揭秘)1、完成aapo...
透视科技!德州之星辅助,(线上... 透视科技!德州之星辅助,(线上wpk德州)果然是真的有挂(详细辅助微扑克教程)在进入德州之星辅助辅助...
透视了解(wPk)微扑克德州专... 透视了解(wPk)微扑克德州专用辅助器(透视)详细辅助攻略教程(一直真的是有挂)1、该软件可以轻松地...
透视规律(aapoKer)aa... 透视规律(aapoKer)aapoker挂(透视)其实是有挂(详细辅助新2025版);在进入aapo...
透视辅助!德扑数据软件,(德州... 透视辅助!德扑数据软件,(德州)都是有挂(详细辅助普及教程)亲,关键说明,德扑数据软件赛季回归,德扑...