成功使用devpi搭建PyPI缓存源,建立内网python安装包服务器(通过代理上网)
创始人
2024-11-14 19:34:30
0

前言

缓存源和镜像源的区别:

缓存源:初始状态为空。下载请求的软件包没有缓存,则回源到设置的上游镜像源,然后该软件包会被缓存。如果请求的软件包已经被缓存,则直接从本地缓存返回用户。

下载速度:第一次速度 = 通过外网从上游镜像源下载的速度;之后的速度 = 内网带宽速度。

磁盘空间:少。初始时只保存了软件包索引,随着使用过程,软件包被缓存,磁盘占用逐渐变大。

镜像源:初始状态含有所有软件包,并且定时与上游镜像源同步。当下载请求到来时直接返回本地文件。

下载速度:内网带宽速度,即使公网断了也能正常下载。

磁盘空间:极大。完整的镜像都是 10TB+ 级别的,当然我们可以选择镜像一个子集。

通过上面的对比,可以发现这两种方案各有优劣。缓存源类似 CDN 缓存,镜像源则相当于全部复制。

PyPI:使用 devpi (+ Nginx) 搭建缓存源

PyPI 选择搭建缓存源的原因是 Pypi 的完整库体积过大(目前已经有 16TB,详见 https://pypi.org/stats/),全部镜像一遍成本过高,且平时根本用不到所有软件包,所以选择搭建缓存源。

使用 devpi 搭建 PyPI 缓存源

快速配置

devpi 本身是一个 Python 软件包,可通过 pip 下载:pip install devpi

安装好后,首先需要初始化。使用 devpi-init --serverdir=[PATH] 进行初始化,其中 [PATH] 代表程序的工作目录,配置文件和缓存都储存在这个目录下,因此该目录的储存空间一定要充足。如果不指定这个参数,则工作目录默认在用户目录下:~/.devpi/server

(venv) [devpi@localhost ~]$ devpi-init --serverdir=/home/devpi/data INFO  NOCTX Loading node info from /home/devpi/data/.nodeinfo INFO  NOCTX generated uuid: 79ec3310594c4356a948c6da4a2ad6fb INFO  NOCTX wrote nodeinfo to: /home/devpi/data/.nodeinfo INFO  NOCTX DB: Creating schema INFO  [Wtx-1] setting password for user 'root' INFO  [Wtx-1] created user 'root' INFO  [Wtx-1] created root user INFO  [Wtx-1] created root/pypi index INFO  [Wtx-1] fswriter0: committed at 0 

初始化后,就可以启动服务器了。使用 devpi-server --host=[HOST] --port=[PORT] --serverdir=[PATH] 启动服务器,其中 [HOST] 为监听的地址,填写 127.0.0.1 则只有本机能访问,填写 0.0.0.0 则任何主机都能访问,[PORT] 为监听的端口,[PATH] 为刚才初始化选择的工作目录。

cat startapp.sh devpi-server --host=0.0.0.0 --port=8081 --serverdir=/home/devpi/data  (venv) [devpi@localhost ~]$ sh startapp.sh   2024-07-18 22:32:20,285 INFO  NOCTX Loading node info from /home/devpi/data/.nodeinfo 2024-07-18 22:32:20,286 INFO  NOCTX wrote nodeinfo to: /home/devpi/data/.nodeinfo 2024-07-18 22:32:20,304 INFO  NOCTX running with role 'standalone' 2024-07-18 22:32:20,314 WARNI NOCTX No secret file provided, creating a new random secret. Login tokens issued before are invalid. Use --secretfile option to provide a persistent secret. You can create a proper secret with the devpi-gen-secret command. 2024-07-18 22:32:21,864 INFO  NOCTX Found plugin devpi-web-4.2.2. 2024-07-18 22:32:21,983 INFO  NOCTX Using /home/devpi/data/.indices for Whoosh index files. 2024-07-18 22:32:22,037 INFO  [ASYN

相关内容

热门资讯

绝活儿辅助!广西老友玩老是输怎... 绝活儿辅助!广西老友玩老是输怎么办(辅助挂)都是真的有辅助app(讲解有挂)在进入广西老友玩老是输怎...
法门辅助!福建13水插件(辅助... 法门辅助!福建13水插件(辅助挂)一贯是有辅助技巧(有挂技术)1、许多玩家不知道福建13水插件辅助怎...
办法辅助!潮友会app下载官方... 办法辅助!潮友会app下载官方辅助器(辅助挂)真是真的是有辅助app(有挂教程)该软件可以轻松地帮助...
妙招辅助!邯郸胡乐挂辅助(辅助... 妙招辅助!邯郸胡乐挂辅助(辅助挂)好像存在有辅助插件(有挂方略)1、上手简单,内置详细流程视频教学,...
教程书辅助!乐酷辅助(辅助挂)... 教程书辅助!乐酷辅助(辅助挂)其实存在有辅助脚本(有挂细节)乐酷辅助能透视中分为三种模型:乐酷辅助模...
学习辅助!决战卡五星辅助(辅助... 学习辅助!决战卡五星辅助(辅助挂)本来真的是有辅助软件(有人有挂)学习辅助!决战卡五星辅助(辅助挂)...
绝活辅助!边锋嘉兴麻将辅助器(... 绝活辅助!边锋嘉兴麻将辅助器(辅助挂)真是真的有辅助神器(新版有挂)1、边锋嘉兴麻将辅助器公共底牌简...
举措辅助!枫叶辅助器(辅助挂)... 举措辅助!枫叶辅助器(辅助挂)本来存在有辅助技巧(竟然有挂)1、下载好枫叶辅助器正确养号方法之后点击...
讲义辅助!点我达辅助(辅助挂)... 讲义辅助!点我达辅助(辅助挂)一直存在有辅助技巧(有人有挂)1、点我达辅助辅助器安装包、点我达辅助辅...
模块辅助!威信茶馆有挂的吗(辅... 模块辅助!威信茶馆有挂的吗(辅助挂)一直真的是有辅助脚本(揭秘有挂)1、玩家可以在威信茶馆有挂的吗线...