PostgreSQL(十二)报错:Tried to send an out-of-range integer as a 2-byte value: 51000
创始人
2025-01-15 00:04:49
0

目录

    • 一、报错场景
    • 二、源码分析
    • 三、实际原因(更加复杂)
    • 四、解决思路

一、报错场景

今天写了一个历史数据处理程序,在开发环境、测试环境都可以正常执行,但是放到生产环境上就不行,报了一个这样的错误:

  • org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.

意思大概是:当把数据发送给后端的时候,出现了一个 I/O 异常。

完整报错截图如下:

顺着日志中异常栈信息往下看,可以看到下面有一处具体的报错原因:

  • Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 51000

意思大概是:出现了一个IO异常,尝试发送一个二进制 int 类型数值时,当前数值超出了大小限制:5100

Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 51000         at org.postgresql.core.PGStream.sendInteger2(PGStream.java:359)         at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1604)         at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1929)         at org.postgresql.core.v3.QueryExecutorImpl.sendQuery(QueryExecutorImpl.java:1487)         at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:347)         ... 140 common frames omitted 

二、源码分析

我们根据报错提示,找到源码对应的位置,该源码位于 postgresql 依赖中,Maven坐标如下:

      org.postgresql     postgresql     42.6.0     runtime  

源码位置如下:

可以看到这里有一个大小限制,Short.MAX_VALUE 对应的就是 Short 类型的最大值,为 32767。也就是说,在 PostgreSQL 中,如果参数的数量超过 32767 之后,就会抛出 Tried to send an out-of-range integer 这个异常。


三、实际原因(更加复杂)

道理都懂,但是细想的话还是有以下两个问题:

  1. 我在代码中明明根据入参按照 1000 分页处理的,没有超出 32767,为什么还会报这个错?
  2. 报错信息中的 51000 又是哪来的?

于是我们继续根据上面的异常栈信息进行排查,针对第2层栈信息在本地打断点调试。

Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 51000         at org.postgresql.core.PGStream.sendInteger2(PGStream.java:359)         at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1604)         at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1929)         at org.postgresql.core.v3.QueryExecutorImpl.sendQuery(QueryExecutorImpl.java:1487)         at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:347)         ... 140 common frames omitted 

首先找到第二层栈信息对应的源码位置,并在本地进行debug:

这里我本地调试的时候,是传了 11 个参数,但是在第二层断点中入参却变成了 352 个,这是为什么呢?

不要慌,其实这里的 queryUtf8 变量中存储的就是我们的 SQL 了,我们直接查看下这个变量的字符串即可:

终于,找到罪魁祸首了,由于项目中集成了 ShrdingJDBC,导致执行 SQL 的时候会自动拼接分表 SQL 并进行 UNION ALL,导致入参个数猛增几十倍。所以:

  • 开发环境中,分表是 202110~202405,32张表 × 11个入参 = 352 个总入参。
  • 生产环境中,分表是 202110~202512,51张表 × 1000个入参 = 51000 个总入参。

51000 远远超出 32767 的限制,所以抛出 IO 异常。


四、解决思路

可以根据以下两种情况,分别进行解决:

  1. 如果没有使用 ShardingJDBC 进行分表:建议分页处理。
  2. 如果已经使用 ShardingJDBC 进行分表:在单个SQL入参不超过 32767 的情况下,一方面可以将分片键加入参数中;另一方面可以再进一步分页,细化分页颗粒度。

整理完毕,完结撒花~🌻

相关内容

热门资讯

推荐一款!川娱竞技血战辅助器,... 推荐一款!川娱竞技血战辅助器,福建兄弟13水插件,指南书教程(有挂攻略)该软件可以轻松地帮助玩家将川...
关于!波特互娱辅助,新老夫子开... 关于!波特互娱辅助,新老夫子开挂系统,资料教程(有挂存在)波特互娱辅助辅助器是一种具有地方特色的麻将...
必备辅助推荐!边锋辅助器小程序... 必备辅助推荐!边锋辅助器小程序微信,海盗来了辅助脚本,办法教程(有挂头条)运边锋辅助器小程序微信辅助...
玩家必知教程!决战十三辅助辅助... 玩家必知教程!决战十三辅助辅助器,新鸿狐辅助软件是真的吗,讲义教程(有挂规律)1)决战十三辅助辅助器...
推荐一款!闲逸辅助软件下载苹果... 推荐一款!闲逸辅助软件下载苹果,樱花之盛辅助器,课程教程(有挂规律)1、玩家可以在闲逸辅助软件下载苹...
科普攻略!传送屋挂件,皮皮跑胡... 科普攻略!传送屋挂件,皮皮跑胡子系统有鬼,举措教程(有挂方法)在进入皮皮跑胡子系统有鬼软件靠谱后,参...
专业讨论!功夫川麻小程序辅助器... 专业讨论!功夫川麻小程序辅助器,飞驰娱乐科技,秘籍教程(有挂详情)1、每一步都需要思考,不同水平的挑...
必备教程!陕麻圈插件开挂,冰球... 必备教程!陕麻圈插件开挂,冰球突破辅助软件,要领教程(果真有挂)该软件可以轻松地帮助玩家将陕麻圈插件...
信息共享!卡五星辅助软件,朱雀... 信息共享!卡五星辅助软件,朱雀开心罗松辅助器,积累教程(今日头条)1、实时卡五星辅助软件透视辅助更新...
玩家必看科普!多乐跑胡子辅助,... 玩家必看科普!多乐跑胡子辅助,泸州大二新手攻略,讲义教程(真的有挂)1)多乐跑胡子辅助免费钻石:进一...