paddlenlp cpu windows 下测试gpt
创始人
2025-01-15 22:03:30
0

paddlenlp

安装python3.11版本

conda create -n python311 python=3.11

激活python

conda activate python311

安装paddlepaddle

conda install paddlepaddle==3.0.0b0 -c paddle

pip install paddlenlp==3.0.0b0 -U -i https://pypi.tuna.tsinghua.edu.cn/simple

windows下提示:
AttributeError: module ‘mmap’ has no attribute ‘MAP_PRIVATE’
解决方法:
E:\Anaconda3\envs\python311\Lib\site-packages\paddlenlp\utils\safetensors.py
修改280行:
self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.MAP_PRIVATE)

self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.ACCESS_READ)

错误提示:RuntimeError: (NotFound) The kernel with key (CPU, Undefined(AnyLayout), float16) of kernel multiply is not registered. Selected wrong DataType float16. Paddle support following DataTypes: complex64, bool, bfloat16, complex128, float32, int32, float64, int64

原因:

在CPU环境调用时,模型支持dtype为float32或者float64;

在GPU环境(非Ampere架构)调用时,模型支持dtype为float16、float32或者float64;

在GPU环境(Ampere及后续架构)调用时,模型支持dtype为bfloat16、float16、float32或者float64;

测试代码:

import os from modelscope import snapshot_download  os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"  from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM  model_dir = snapshot_download("Qwen/Qwen2-0.5B")  tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B",trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float32") input_features = tokenizer("你好!请自我介绍一下。", return_tensors="pd") outputs = model.generate(**input_features, max_length=128) tex=tokenizer.batch_decode(outputs[0]) print(tex) #['我是一个AI语言模型,我可以回答各种问题,包括但不限于:天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗?'] 

相关内容

热门资讯

4分钟了解!多多来了有挂吗,W... 4分钟了解!多多来了有挂吗,Wpk好像有挂,新2025版(有挂揭秘)多多来了有挂吗是一种具有地方特色...
八分钟辅助挂!开心联盟牛牛外 ... 八分钟辅助挂!开心联盟牛牛外 挂多少钱,手机德州其实真的有挂,微扑克教程(有挂详情);该软件可以轻松...
三分钟攻略!白金岛放炮罚辅助器... 三分钟攻略!白金岛放炮罚辅助器,来玩app德州真是存在有挂,教你攻略(有挂软件)1、全新机制【白金岛...
8分钟攻略!哥哥跑得快有挂吗,... 8分钟攻略!哥哥跑得快有挂吗,咪咪扑克果然有挂,必赢方法(有挂教学)哥哥跑得快有挂吗辅助器中分为三种...
9分钟辅助挂!衡阳丫丫字牌有没... 9分钟辅助挂!衡阳丫丫字牌有没有外挂,wEPOKE真是是真的有挂,攻略教程(有挂解说)衡阳丫丫字牌有...
一分钟实锤!七彩全民雀神辅助,... 一分钟实锤!七彩全民雀神辅助,WepOke原来存在有挂,专业教程(有挂技巧);七彩全民雀神辅助辅助器...
7分钟普及!南通长牌辅助器,w... 7分钟普及!南通长牌辅助器,wEpOke竟然是有挂,2025新版教程(有挂细节)南通长牌辅助器辅助器...
7分钟辅助!吉祥棋牌填大坑科技... 7分钟辅助!吉祥棋牌填大坑科技有挂吗,WEPoke一直存在有挂,存在挂教程(有挂辅助挂)1、全新机制...
5分钟普及!财神13张牌的规律... 5分钟普及!财神13张牌的规律,WepokE原来是有挂,黑科技教程(有挂教学)1、打开软件启动之后找...
5分钟辅助挂!雀神微信小程序辅... 5分钟辅助挂!雀神微信小程序辅助是真的有吗,德扑竟然是有挂,安装教程(有挂脚本)暗藏猫腻,小编详细说...