Langchain 对pdf,word,txt等不同文件的加载解析
创始人
2024-12-27 01:35:45
0次

项目中遇到各种数据资源想要加载近langchain构建本地知识ai系统,怎么加载对应的文件格式呢,一起研究下

引入Langchain

from langchain.document_loaders import UnstructuredWordDocumentLoader,PyPDFium2Loader,DirectoryLoader,PyPDFLoader,TextLoader import os

pdf文件加载

def load_pdf(directory_path):     data = []     for filename in os.listdir(directory_path):         if filename.endswith(".pdf"):             print(filename)             # print the file name             loader = PyPDFium2Loader(f'{directory_path}/{filename}')             print(loader)             data.append(loader.load())     return data

word文档加载如,doc或者docx格式

def load_word(directory_path):     data = []     for filename in os.listdir(directory_path):         # check if the file is a doc or docx file         # 检查所有doc以及docx后缀的文件         if filename.endswith(".doc") or filename.endswith(".docx"):             # langchain自带功能,加载word文档             loader = UnstructuredWordDocumentLoader(f'{directory_path}/{filename}')             data.append(loader.load())      return data

txt加载

def load_txt(directory_path):     data = []     for filename in os.listdir(directory_path):         if filename.endswith(".txt"):             print(filename)             loader = TextLoader(f'{directory_path}/{filename}')             print(loader)             data.append(loader.load())      return data

上述中常见的文档格式基本上都可以加载进去了,主要就是不同格式对应不同的加载方式,如果想简单也可以直接加载目录

def load_docs(directory):     loader = DirectoryLoader(directory)     documents = loader.load()     return documents

相关内容

热门资讯

WPK作弊开挂,AApoker... WPK作弊开挂,AApoker好牌,微扑克一贯有开挂工具1)AApoker好牌免费钻石:进一步探索A...
WPK四人透视,拱趴大菠萝挂怎... WPK四人透视,拱趴大菠萝挂怎么安装,德州扑克一直真的有透视app1、进入到拱趴大菠萝挂怎么安装是否...
WPK官网透视挂,拱趴大菠萝有... WPK官网透视挂,拱趴大菠萝有挂吗,aapoker切实存在有透视挂神器拱趴大菠萝有挂吗透视方法中分为...
WPK安卓辅助,大菠萝辅助器,... WPK安卓辅助,大菠萝辅助器,微扑克一贯真的是有辅助技巧大菠萝辅助器能透视中分为三种模型:大菠萝辅助...
WPK工具透视挂,AApoke... WPK工具透视挂,AApoker底牌,AApoker一直真的有透视挂攻略1、让任何用户在无需AApo...
WPK模拟器辅助器,扑克之星辅... WPK模拟器辅助器,扑克之星辅助,菠萝智星德州一贯有辅助器神器1、用户打开应用后不用登录就可以直接使...
WPK多开透视挂,AApoke... WPK多开透视挂,AApoker安装包,德州扑克切实有透视挂脚本1、AApoker安装包辅助器安装包...
WPK真假辅助器,拱趴大菠萝挂... WPK真假辅助器,拱趴大菠萝挂,德扑之星竟然是真的有辅助器攻略WPK真假辅助器,拱趴大菠萝挂,德扑之...
WPK辅助器透视,AApoke... WPK辅助器透视,AApoker插件,wpk本来有透视app1、任何AApoker插件透视是真的假的...
WPK真假开挂,wpk软件是真... WPK真假开挂,wpk软件是真的吗,红龙PoKer一直存在有开挂插件1、每一步都需要思考,不同水平的...