Java-编写JavaPaReDD到CSV


0

javapairdd具有saveastextfile函数,使用该函数可以以文本格式保存数据。

不过,我需要的是将数据保存为csv文件,以便以后可以在neo4j中使用它。

我的问题是:

如何以csv格式保存javapairdd的数据?或者是否有方法将RDD从:

Key   Value
Jack  [a,b,c]

到:

Key  value
 Jack  a
 Jack  b
 Jack  c

1 答案

0

您应该在javapairdd上使用flatmap value s函数:通过flatmap函数传递 key值对rdd中的每个值,而不更改 key;这也保留了原始rdd的分区。

只要返回值,它就会在输入列表中为每个元素创建一行,以保留 key。

  // In Java
  JavaPairRDD<Object, List<String>> input = ...;
  JavaPairRDD<Object, String> output = input.flatMapValues((Function<List<String>, Iterable<String>>) Functions.identity());

我来回答

写文章

提问题