LLM 大模型文档语义分块、微调数据集生成
创始人
2024-11-11 02:08:49
0次

1、LLM 大模型文档语义分块

参考：
https://blog.csdn.net/m0_59596990/article/details/140280541

根据上下句的语义相关性，相关就组合成一个分块，不相关就当场两个快
在这里插入图片描述
语义模型用的bert-base-chinese：
https://huggingface.co/google-bert/bert-base-chinese

代码：
对水浒传的分块

import torch from transformers import BertTokenizer, BertModel import re import os from scipy.spatial.distance import cosine   def get_sentence_embedding(sentence, model, tokenizer):     """     获取句子的嵌入表示      参数:     sentence

上一篇：两分钟科普！wpk微扑克有辅助插件的（透视）wepoker轻量版有挂的（有挂规律）

下一篇：Unity2D在处理精灵表过程中出现不清晰的解决方法

相关内容

热门资讯

黑科技辅助(weopke真的有... 黑科技辅助(weopke真的有挂)外挂软件透明挂智能ai代打辅助器(透视)我来教教你(2025已更新...
每日必看“来玩app德州辅助”... 每日必看“来玩app德州辅助”（透视）详细开挂辅助教程玩家们不断寻求提升自己游戏水平的方法，透视软件...
发现一款!微扑克脚本代写,太坑... 发现一款!微扑克脚本代写,太坑了一向是有挂(2021已更新)(哔哩哔哩);1、很好的微扑克脚本代写工...
黑科技辅助(德州之星)外挂软件... 黑科技辅助(德州之星)外挂软件透明挂智能ai代打辅助安装插件(透视)解密教程(2022已更新)(哔哩...
攻略讲解“来玩德州作z弊挂”（... 攻略讲解“来玩德州作z弊挂”（透视）详细开挂辅助方法在中使用透视的方法非常高。平台采用先进的监控技术...
黑科技中牌率!wepoke透明... 黑科技中牌率!wepoke透明黑科技,太坑了本来是有挂(2023已更新)(哔哩哔哩);是一款可以让一...
黑科技辅助(aa扑克模拟器)外... 黑科技辅助(aa扑克模拟器)外挂软件透明挂智能ai辅助插件(透视)详细教程(2025已更新)(哔哩哔...
技术分享“HHpoker可以开... 技术分享“HHpoker可以开挂吗”（透视）详细开挂辅助教程技术基础实现透视功能需要一定的技术基础。...
发现一款!aapoker线上规... 发现一款!aapoker线上规律,太坑了一直是真的有挂(2022已更新)(哔哩哔哩);人气非常高，a...
玩家必看!wepoke软件规律... 玩家必看!wepoke软件规律,太坑了从前是真的有挂(2021已更新)(哔哩哔哩);一、wepoke...