LLM 大模型文档语义分块、微调数据集生成
创始人
2024-11-11 02:08:49
0次

1、LLM 大模型文档语义分块

参考：
https://blog.csdn.net/m0_59596990/article/details/140280541

根据上下句的语义相关性，相关就组合成一个分块，不相关就当场两个快
在这里插入图片描述
语义模型用的bert-base-chinese：
https://huggingface.co/google-bert/bert-base-chinese

代码：
对水浒传的分块

import torch from transformers import BertTokenizer, BertModel import re import os from scipy.spatial.distance import cosine   def get_sentence_embedding(sentence, model, tokenizer):     """     获取句子的嵌入表示      参数:     sentence

上一篇：两分钟科普！wpk微扑克有辅助插件的（透视）wepoker轻量版有挂的（有挂规律）

下一篇：Unity2D在处理精灵表过程中出现不清晰的解决方法

相关内容

热门资讯

透视黑科技！德州真人透视脚本，... 透视黑科技！德州真人透视脚本，wepoker破解工具，窍要教程（有挂工具）-哔哩哔哩德州真人透视脚本...
9分钟曝光！hhpoker有后... 9分钟曝光！hhpoker有后台操作吗（透视）切实真的有挂，AI教程（有挂分析）-哔哩哔哩运hhpo...
透视辅助！wepoker私人局... 透视辅助！wepoker私人局辅助挂（透视）果然真的是有挂，技巧教程（有挂模拟器）-哔哩哔哩1、首先...
透视辅助！德州私人局怎么透视，... 透视辅助！德州私人局怎么透视，hhpoker免费透视脚本，模块教程（果真有挂）-哔哩哔哩进入游戏-大...
透视有挂！wepoker安装教... 透视有挂！wepoker安装教程（透视）竟然有挂，揭秘教程（有挂规律）-哔哩哔哩wepoker安装教...
九分钟科普！红龙poker辅助... 九分钟科普！红龙poker辅助指令（透视）都是是有挂，解密教程（有挂教程）-哔哩哔哩九分钟科普！红龙...
透视好友！拱趴大菠萝辅助方法，... 透视好友！拱趴大菠萝辅助方法，cloudpoker怎么开挂，要领教程（今日头条）-哔哩哔哩一、拱趴大...
辅助透视！德普之星透视免费（透... 辅助透视！德普之星透视免费（透视）好像有挂，切实教程（有挂必备）-哔哩哔哩1、该软件可以轻松地帮助玩...
第9分钟开挂！wepoker辅... 第9分钟开挂！wepoker辅助器是真的吗（透视）竟然是有挂，教你攻略（的确有挂）-哔哩哔哩1、全新...
透视挂透视！红龙poker辅助... 透视挂透视！红龙poker辅助平台，wepoker私人局开挂视频，法门教程（了解有挂）-哔哩哔哩1、...