今天写了一个历史数据处理程序,在开发环境、测试环境都可以正常执行,但是放到生产环境上就不行,报了一个这样的错误:
意思大概是:当把数据发送给后端的时候,出现了一个 I/O 异常。
完整报错截图如下:
顺着日志中异常栈信息往下看,可以看到下面有一处具体的报错原因:
意思大概是:出现了一个IO异常,尝试发送一个二进制 int 类型数值时,当前数值超出了大小限制:5100
Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 51000 at org.postgresql.core.PGStream.sendInteger2(PGStream.java:359) at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1604) at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1929) at org.postgresql.core.v3.QueryExecutorImpl.sendQuery(QueryExecutorImpl.java:1487) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:347) ... 140 common frames omitted
我们根据报错提示,找到源码对应的位置,该源码位于 postgresql
依赖中,Maven坐标如下:
org.postgresql postgresql 42.6.0 runtime
源码位置如下:
可以看到这里有一个大小限制,Short.MAX_VALUE
对应的就是 Short 类型的最大值,为 32767
。也就是说,在 PostgreSQL 中,如果参数的数量超过 32767 之后,就会抛出 Tried to send an out-of-range integer
这个异常。
道理都懂,但是细想的话还是有以下两个问题:
于是我们继续根据上面的异常栈信息进行排查,针对第2层栈信息在本地打断点调试。
Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 51000 at org.postgresql.core.PGStream.sendInteger2(PGStream.java:359) at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1604) at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1929) at org.postgresql.core.v3.QueryExecutorImpl.sendQuery(QueryExecutorImpl.java:1487) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:347) ... 140 common frames omitted
首先找到第二层栈信息对应的源码位置,并在本地进行debug:
这里我本地调试的时候,是传了 11
个参数,但是在第二层断点中入参却变成了 352
个,这是为什么呢?
不要慌,其实这里的 queryUtf8
变量中存储的就是我们的 SQL 了,我们直接查看下这个变量的字符串即可:
终于,找到罪魁祸首了,由于项目中集成了 ShrdingJDBC,导致执行 SQL 的时候会自动拼接分表 SQL 并进行 UNION ALL
,导致入参个数猛增几十倍。所以:
51000 远远超出 32767 的限制,所以抛出 IO 异常。
可以根据以下两种情况,分别进行解决:
整理完毕,完结撒花~🌻