paddlenlp cpu windows 下测试gpt
创始人
2025-01-15 22:03:30
0次

paddlenlp

安装python3.11版本

conda create -n python311 python=3.11

激活python

conda activate python311

安装paddlepaddle

conda install paddlepaddle==3.0.0b0 -c paddle

pip install paddlenlp==3.0.0b0 -U -i https://pypi.tuna.tsinghua.edu.cn/simple

windows下提示:
AttributeError: module ‘mmap’ has no attribute ‘MAP_PRIVATE’
解决方法:
E:\Anaconda3\envs\python311\Lib\site-packages\paddlenlp\utils\safetensors.py
修改280行:
self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.MAP_PRIVATE)
为
self.file_mmap = mmap.mmap(self.file.fileno(), 0, access=mmap.ACCESS_READ)

错误提示:RuntimeError: (NotFound) The kernel with key (CPU, Undefined(AnyLayout), float16) of kernel multiply is not registered. Selected wrong DataType float16. Paddle support following DataTypes: complex64, bool, bfloat16, complex128, float32, int32, float64, int64

原因:

在CPU环境调用时,模型支持dtype为float32或者float64;

在GPU环境(非Ampere架构)调用时,模型支持dtype为float16、float32或者float64;

在GPU环境(Ampere及后续架构)调用时,模型支持dtype为bfloat16、float16、float32或者float64;

测试代码:

import os from modelscope import snapshot_download  os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"  from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM  model_dir = snapshot_download("Qwen/Qwen2-0.5B")  tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B",trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float32") input_features = tokenizer("你好!请自我介绍一下。", return_tensors="pd") outputs = model.generate(**input_features, max_length=128) tex=tokenizer.batch_decode(outputs[0]) print(tex) #['我是一个AI语言模型,我可以回答各种问题,包括但不限于:天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗?'] 

相关内容

热门资讯

推荐一款透视器!葫芦娃大厅透视... 推荐一款透视器!葫芦娃大厅透视器多功能AIapp,葫芦娃大厅果然是有透视器app1.葫芦娃大厅 选牌...
一分钟了解透视挂!东游大厅透视... 一分钟了解透视挂!东游大厅透视挂多功能AI脚本,东游大厅都是存在有透视挂脚本1、下载好东游大厅正确养...
我来向大家传授外挂!孔雀互娱外... 我来向大家传授外挂!孔雀互娱外挂多功能AI插件,孔雀互娱真是是真的有外挂插件1、完成孔雀互娱有辅助插...
我来教大家透视器!青岛大厅透视... 我来教大家透视器!青岛大厅透视器多功能AI插件,青岛大厅其实是有透视器插件1、青岛大厅免费辅助多个强...
一分钟带你了解辅助!067互娱... 一分钟带你了解辅助!067互娱辅助多功能AI教程,067互娱其实有辅助教程1、任何067互娱透视是真...
技术分享辅助!起点大厅辅助多功... 技术分享辅助!起点大厅辅助多功能AI技巧,起点大厅果然是有辅助技巧1、起透看视 起点大厅辅助软件价格...
一分钟教会你外挂!新玄龙外挂多... 一分钟教会你外挂!新玄龙外挂多功能AI插件,新玄龙真是是有外挂插件1、游戏颠覆性的策略玩法,独创攻略...
一分钟了解辅助!东游大厅辅助多... 一分钟了解辅助!东游大厅辅助多功能AI脚本,东游大厅总是有辅助脚本1、东游大厅透视辅助软件激活码多个...
我来教教你辅助!卡米大厅辅助多... 我来教教你辅助!卡米大厅辅助多功能AI方法,卡米大厅切实真的有辅助方法1、实时卡米大厅透视辅助更新:...
玩家必备教程辅助!辣椒大厅辅助... 玩家必备教程辅助!辣椒大厅辅助多功能AI软件,辣椒大厅原来真的有辅助软件1、许多玩家不知道辣椒大厅辅...