ApacheSpark-如何从另外两个 DataFrame 创建 DataFrame ?


0

我有两个dataframe对象,每个对象都有一列:

a = predictons_lr.select('prediction')
b = predictions_nb.select('prediction')

我想创建一个包含a和b列的结果 DataFrame 。

df_result = spark.createDataFrame([a, b])

但我有个错误:

断言错误:位于0x000002260f3d4240的数据类型py4j.java_gateway.javamember对象应是类“pyspark.sql.types.datatype”的实例

有一种有效的方法来创建这种 dataframe吗?

1 答案

0

如果这两列是相同的数据类型,则可以 coalesce

a = predictons_lr.select('prediction')
b = predictions_nb.select('prediction')

new_df = a.union(b)


我来回答

写文章

提问题