将大型(200 GB)Hbase表加载到RDD中,而无需进行Hbase扫描


0

我想将一个大的(200GB)Hbase表加载到RDD中,而不需要进行Hbase扫描,即直接将HFiles读取到RDD中。

如果您能分享任何示例/示例代码(或 chaining接到带有示例的网页)来展示HFileInputformat的使用,就像我发现的那些指向HFileInputformat源代码的代码一样,那将是非常好的。

不确定2012/2013年提到的危险是否仍然适用-http://qnalist.com/questions/155178/hfileinputformat-for-mapreduce

1 答案


0

我找到这个是94美元。https://gist.github.com/ashwanthkumar/5133733

但危险仍然存在。如果同时发生压缩或区域分割,则会影响结果。


我来回答

写文章

提问题

面试题