Langchain 对pdf,word,txt等不同文件的加载解析
创始人
2024-12-27 01:35:45
0

项目中遇到各种数据资源想要加载近langchain构建本地知识ai系统,怎么加载对应的文件格式呢,一起研究下

引入Langchain

from langchain.document_loaders import UnstructuredWordDocumentLoader,PyPDFium2Loader,DirectoryLoader,PyPDFLoader,TextLoader import os

pdf文件加载

def load_pdf(directory_path):     data = []     for filename in os.listdir(directory_path):         if filename.endswith(".pdf"):             print(filename)             # print the file name             loader = PyPDFium2Loader(f'{directory_path}/{filename}')             print(loader)             data.append(loader.load())     return data

word文档加载如,doc或者docx格式

def load_word(directory_path):     data = []     for filename in os.listdir(directory_path):         # check if the file is a doc or docx file         # 检查所有doc以及docx后缀的文件         if filename.endswith(".doc") or filename.endswith(".docx"):             # langchain自带功能,加载word文档             loader = UnstructuredWordDocumentLoader(f'{directory_path}/{filename}')             data.append(loader.load())      return data

txt加载

def load_txt(directory_path):     data = []     for filename in os.listdir(directory_path):         if filename.endswith(".txt"):             print(filename)             loader = TextLoader(f'{directory_path}/{filename}')             print(loader)             data.append(loader.load())      return data

上述中常见的文档格式基本上都可以加载进去了,主要就是不同格式对应不同的加载方式,如果想简单也可以直接加载目录

def load_docs(directory):     loader = DirectoryLoader(directory)     documents = loader.load()     return documents

相关内容

热门资讯

查到实测辅助!闽游十三水攻略(... 查到实测辅助!闽游十三水攻略(透明挂)一直真的是有挂(2026已更新)(哔哩哔哩);1、打开软件启动...
今日公布!钱塘十三水开挂检测得... 今日公布!钱塘十三水开挂检测得出来吗(透视辅助)透明挂透视辅助器(2023已更新)(哔哩哔哩)运钱塘...
一分钟普及!顺欣茶楼辅助器下载... 一分钟普及!顺欣茶楼辅助器下载,推扑克一直是有挂,存在挂教程(有挂脚本)一、顺欣茶楼辅助器下载软件透...
热点推荐!决战十三水ios版辅... 热点推荐!决战十三水ios版辅助器(辅助挂)总是是真的有挂(2020已更新)(哔哩哔哩)亲,关键说明...
重大通报!!牛郎棋牌助手黑科技... 重大通报!!牛郎棋牌助手黑科技(透明挂)透视辅助挂(2020已更新)(哔哩哔哩)1、完成牛郎棋牌助手...
两分钟攻略!碧海麻将是不是有挂... 两分钟攻略!碧海麻将是不是有挂的,wepoKE都是是有挂,教你攻略(有挂神器);1、碧海麻将是不是有...
重大通报!兴动辅助器免费版(辅... 重大通报!兴动辅助器免费版(辅助)确实是真的有挂(2024已更新)(哔哩哔哩)1、完成兴动辅助器免费...
每日必看!牌乐门如何拿到好牌(... 每日必看!牌乐门如何拿到好牌(透视)透视脚本辅助插件(2025已更新)(哔哩哔哩)一、牌乐门如何拿到...
6分钟科普!决战血流麻将湖北里... 6分钟科普!决战血流麻将湖北里面是不是有挂,德扑助手好像真的是有挂,黑科技教程(有挂科普)小薇(透视...
推荐十款!!网易棋牌挂怎么开(... 推荐十款!!网易棋牌挂怎么开(透视辅助)外挂透明挂辅助器(2020已更新)(哔哩哔哩);1、网易棋牌...