Spark读取json数据出现混乱的情况
2021-02-11 05:15
标签：取出 info 决定 部分 read png 原来 orm userinfo 今天晚上，我们老师给我们布置了一个任务，用spark读取一些json数据，然后做一些数据分析的任务 我以为重头戏是数据分析的部分，没想到自己被读取json数据拦了1个多小时，写篇博客记录下 orz 常规的读取数据： 数据集1 数据集2 一开始我死抓数据集1，可是读取出来的数据并不是对应的，而是混乱的 想了半天没想明白，然后试了下数据集2，却发现没有毛病 这就奇了怪，难道是数据太大的原因，可是spark本来就是处理大数据的，没理由这100MB就给干趴了啊 我决定将数据集1中的数据截取一点出来，然后自己试验一下，终于让我发现原来是 这个0开头的问题，然后去搜了一下0开头的数据怎么处理，果然在读取json的时候有专门对应的选项 附上我搜到的结果路径 https://blog.csdn.net/weixin_42411818/article/details/98734464 Spark读取json数据出现混乱的情况 标签：取出 info 决定 部分 read png 原来 orm userinfo 原文地址：https://www.cnblogs.com/ro0k1e/p/13046537.html val userInfo = spark.read.format("json").
json( "WebProjectTest/data/Users_Data.log")
val userLog = spark.read.format("json").
json( "WebProjectTest/data/Log_Data.log")
文章标题：Spark读取json数据出现混乱的情况
文章链接：http://soscw.com/index.php/essay/53894.html