在 spark中找不到Java-AZUR.DATALAK.Stur.ADLFielSe系统


0

我正在尝试使用spark sql查询放在data lake存储中的csv文件。当我查询时,得到“java.lang.ClassNotFoundException:Class com.microsoft.azure.datalake.store.adlFileSystem未找到”。

如何使用spark sql查询data lake存储中的文件?请帮我拿个样品。

CSV示例:

Id     Name     Designation
1      aaa      bbb
2      ccc      ddd
3      eee      fff

提前谢谢你,

3 答案

0

目前,hdinsight spark群集不可用于azure data lake存储。一旦我们有了支持,它就会无缝 job。

谢谢,


0

今天花了好几个小时想办法…把它留在这里,以防有人需要帮助!

对于Hadoop 3.0.1,请确保在hadoop-env.sh文件中取消以下注释

导出Hadoop_可选工具


0

在创建hdinsight群集时,似乎没有为数据池存储配置群集aad标识。

您可以尝试在azure门户上使用data lake store创建hdinsight的spark集群,请参见https://azure.microsoft.com/en-us/documentation/articles/datalakestore hdinsight hadoop use portal/。


我来回答

写文章

提问题