python—如何从 DataFrame 中提取值(我想要的是int而不是row)并对其进行简单计算?


0

在ApacheSpark中,我有一个称为“df”的 DataFrame ,它有3个列和大约1000行。

我至少知道两种方法,但我都不知道怎么完成。

对于第一个,我首先创建了新的dataframe并选择“column x”将其称为df2(去掉不需要的其他列):

df2 = df.select('column_x')

然后我创建了另一个 DataFrame ,将1.00和0.00分组,称之为分组数据:

grouped_df = df2.map(lambda label : (label, 1)).reduceByKey(lambda a, b: a +b)

这个 DataFrame 现在只包含2行而不是1000行。

现在的问题是,我不知道如何将元素“提取”到一个值中,以便使用它进行计算。我只能使用.take(1)或collect()来显示dataframes元素是正确的,但是我不能用它进行简单的除法,因为它不返回int

另一种方法是过滤掉df2中的所有0.00,然后对过滤后的 DataFrame 使用.count(),因为它似乎返回了一个我可以使用的int。

编辑:这就是它的样子:

3 答案

0

一旦最终的 DataFrame 具有列的聚合计数,则可以对该 DataFrame 调用“collect”,这将以行数据类型列表的形式返回 DataFrame 的行。

从行列表中,可以按列名查询访问列值并分配给变量,如下所示:

>>> df.show()
+--------+----+
|    col1|col2|
+--------+----+
|column_x|1000|
|column_y|2000|
+--------+----+

>>>
>>> test = df.collect()
>>> test
[Row(col1=u'column_x', col2=1000), Row(col1=u'column_y', col2=2000)]
>>>
>>> count_x = test[0].col2
>>> count_x
1000
>>>
>>> count_y = test[1].col2
>>> count_y
2000
>>>


0

编辑我没有注意到您询问的是python,我用scala编写了代码,但是原则上解决方案应该是相同的,您应该只使用python api

dataframe本质上是一个 DataSet 合的包装器。分发,但仍然是一个集合。有一个org.apache.spark.sql.dataset collect操作,它实际上是将该集合展开为一个简单的scala array。当您有一个 array时,您可以简单地从中获取第n个元素,或者,因为您只关心第一个元素,所以可以对 array调用head()来获取第一个元素。因为您使用的是 DataFrame ,所以有一个org.apache.spark.sql.row元素的集合。要检索元素的值,必须调用getdouble或从中提取任何值。

总结一下,这是一个可以做您想要做的事情的代码(大致上):

val grouped_df = df2.map(lambda label : (label, 1)).reduceByKey(lambda a, b: a +b)
val collectionOfValues: Array[Row] = grouped_df.collect
val topRow: Row = collectionOfValues.head
val value: Double = topRow.getDouble

希望这就是你要找的。

请 root据文件注意:

运行collect需要将所有数据移动到应用程序的驱动程序进程中,并且在非常大的 DataSet 上执行此操作可能会导致驱动程序进程崩溃,并出现outofmemoryerror

0

编辑:我放弃写进口。

我通过将结果 transformation成panda的 DataFrame ,然后对位置为[[0][0]]的单元格使用int()函数将变量x中的结果作为整数来求解。或者,可以使用float()。

import pyspark.sql.functions as f
data=[(1,1,1),(1,2,0),(0,3,1),(1,4,1),(0,1,0),(0,2,0),(1,3,1)]
df=spark.createDataFrame(data,['class_label','review','words'])

print(type(df))

> <class 'pyspark.sql.dataframe.DataFrame'>

print(df)

+-----------+------+-----+
|class_label|review|words|
+-----------+------+-----+
| 1| 1| 1|
| 1| 2| 0|
| 0| 3| 1|
| 1| 4| 1|
| 0| 1| 0|
| 0| 2| 0|
| 1| 3| 1|
+-----------+------+-----+

df2 = df.groupBy().agg(f.sum('class_label').alias('result')).toPandas()

x = int(df2.iloc[[0][0]])

print(type(x))
> <type 'int'>
print(x)
> 4


我来回答

写文章

提问题