一个大数据平台,如何对应多种数据及业务


0

现在已经搭建了一套大数据系统平台,并且收集了相关的工业数据,建立相关的模型,正在优化。
下一步,需要引进一个农业相关的项目,想着也是利用这同一套大数据平台。

那么,一个大数据平台,对于多种数据以及多种业务,这块该怎么处理,比如从数据收集,数据存储模型建立,以及部署等问题上。

有相关经验的人么,谢谢。

1 答案

1

数据收集肯定是不同的业务,不同的收集方式。关键在于集群这块的问题,最好的方式是一套集群混合多业务。

单集群需要注意的问题:
1、存储问题:可以使用hdfs的namespace来隔离多个业务数据,也可以使用简单的分目录来隔离
2、计算资源问题:不同的业务使用不同的资源队列


我来回答