paddlenlp cpu windows 下测试gpt
创始人
2025-01-15 22:03:30
0

paddlenlp

安装python3.11版本

conda create -n python311 python=3.11

激活python

conda activate python311

安装paddlepaddle

conda install paddlepaddle==3.0.0b0 -c paddle

pip install paddlenlp==3.0.0b0 -U -i https://pypi.tuna.tsinghua.edu.cn/simple

windows下提示:
AttributeError: module ‘mmap’ has no attribute ‘MAP_PRIVATE’
解决方法:
E:\Anaconda3\envs\python311\Lib\site-packages\paddlenlp\utils\safetensors.py
修改280行:
self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.MAP_PRIVATE)

self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.ACCESS_READ)

错误提示:RuntimeError: (NotFound) The kernel with key (CPU, Undefined(AnyLayout), float16) of kernel multiply is not registered. Selected wrong DataType float16. Paddle support following DataTypes: complex64, bool, bfloat16, complex128, float32, int32, float64, int64

原因:

在CPU环境调用时,模型支持dtype为float32或者float64;

在GPU环境(非Ampere架构)调用时,模型支持dtype为float16、float32或者float64;

在GPU环境(Ampere及后续架构)调用时,模型支持dtype为bfloat16、float16、float32或者float64;

测试代码:

import os from modelscope import snapshot_download  os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"  from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM  model_dir = snapshot_download("Qwen/Qwen2-0.5B")  tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B",trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float32") input_features = tokenizer("你好!请自我介绍一下。", return_tensors="pd") outputs = model.generate(**input_features, max_length=128) tex=tokenizer.batch_decode(outputs[0]) print(tex) #['我是一个AI语言模型,我可以回答各种问题,包括但不限于:天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗?'] 

相关内容

热门资讯

透视辅助器!wepoker底牌... 透视辅助器!wepoker底牌透视,(WePoKer)好像是有挂(透视)黑侠辅助器(有挂辅助)1)w...
透视辅助!wpk刷入池率脚本,... 透视辅助!wpk刷入池率脚本,(wpK)确实是真的有挂(透视)插件辅助(有挂教程);1、该软件可以轻...
透视脚本!wepoker-h5... 透视脚本!wepoker-h5下载,(wepoker)确实真的有挂(透视)透视底牌脚本(有挂细节)1...
透视黑科技!德普之星怎么设置埋... 透视黑科技!德普之星怎么设置埋牌, (德普之星)一直有挂(透视)透视辅助(有挂规律);小薇(透视辅助...
透视工具!pokerrrr2辅... 透视工具!pokerrrr2辅助,epoker底牌透视,解说技巧(有挂规律)1)epoker底牌透视...
透视辅助!wpk德州局透视,(... 透视辅助!wpk德州局透视,(wPK)真是是真的有挂(透视)私人辅助(有挂详情)1、构建自己的wpk...
透视免费!wepoker轻量版... 透视免费!wepoker轻量版辅助,(wepoker)一直真的有挂(透视)到底有透视(有挂辅助)1、...
透视肯定!德普之星透视辅助, ... 透视肯定!德普之星透视辅助, (德普之星)本来是有挂(透视)私人局透视(有挂方法)1、打开软件启动之...
透视美元局!拱趴大菠萝挂哪里,... 透视美元局!拱趴大菠萝挂哪里,pokemmo辅助脚本,靠谱教程(有挂介绍)1、拱趴大菠萝挂哪里ai辅...
透视辅助!wpk插件,(WPK... 透视辅助!wpk插件,(WPK)确实是有挂(透视)透视辅助方法(有挂秘笈);1、实时wpk插件开挂更...