搜索
首页 教育/科学 职业教育

大数据平台的开发是怎样的?

全部回答

2020-09-15

0 0

    大数据整体流程涉及很多模块,每一个模块都比较复杂,例如数据采集、数据传输、实时计算、离线计算、大数据储存等相关模块。 目前基本上所有的大数据架构都是基于lambda和kappa架构,不同公司在这两个架构模式上设计出符合该公司的数据体系架构。
   lambda 架构使开发人员能够构建大规模分布式数据处理系统。  它具有很好的灵活性和可扩展性,也对硬件故障和人为失误有很好的容错性。 而kappa架构解决了lambda架构存在的两套数据加工体系,从而带来的各种成本问题,这也是目前流批一体化研究方向,很多企业已经开始使用这种更为先进的架构。
   。

2019-06-24

0 0

  可以说做Hive开发、HBase开发。大数据工程师做的最多的就是Hive开发。
   --1,”神“规划、构建符合项目需求大数据平台技术框架调研/技术选型 --2,HiveQL/SparkSQL数据清洗数据统计分析机器学习:数据准备(Hive、SparkCore、MapReduce、) --3,HBase表:数据入库数据查询数据分析-- 4,流式实时计算实时统计如何实时接收数据,数据不丢失配合前端数据展示RedisES/Solr。

类似问题换一批

热度TOP

相关推荐
加载中...

热点搜索 换一换

教育/科学
职业教育
院校信息
升学入学
理工学科
出国/留学
人文学科
外语学习
学习帮助
K12
职业教育
职业教育
会计资格考试
职业培训
远程教育
自考
司法考试
公务员考试
举报
举报原因(必选):
取消确定举报