apache spark-无效日期:错误时间使用pySpark将CSV导入Cassandra


0

我正在使用Jupyter NoteBook运行pySpark代码,将CSV文件导入到Cassandra v3.11.3。低于错误。

... 1 more[![enter image description here][1]][1]

---------------------------------------------------------------------------

pySpark代码,我已附上图片:

[![pyspark_code][1]][1]

任何输入。。。

1 答案


0

如果没有完整的跟踪,就很难确切地知道失败的地方。您粘贴的方法只是p4yj包装器方法,我们确实需要查看底层Java异常。

据我所知,您似乎还试图在C*write上使用一些不受支持的选项。例如,“MODE”-“DROPMALFORMED”不是有效的C* join器选项。DataFrame Writer和Reader选项是特定于源的,因此很遗憾无法混合和匹配。

这使我认为正在写入的数据实际上有一个或两个格式不正确的日期字符串,并且在尝试写入断开的记录时,此代码即将终止。解决这个问题的一个方法是尝试在CSV read上进行日期 transformation,我相信它确实支持DROPMALFORMED样式解析选项。


我来回答

写文章

提问题

面试题