使用apache livy导致的结果集不一致问题记录

2021-03-10 09:28

阅读:415

标签:指定   结果   park   sql   题记   session   导致   mic   中文   

spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。

技术图片

 

 之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码

技术图片

 

 修改完毕后重新执行 观察livy session中的sql。

技术图片

 

 果然乱码没了,执行结果集跟spark后台执行一致。

 

使用apache livy导致的结果集不一致问题记录

标签:指定   结果   park   sql   题记   session   导致   mic   中文   

原文地址:https://www.cnblogs.com/songchaolin/p/12858526.html


评论


亲,登录后才可以留言!