一、任职资格：1.熟练使用Hadoop, HBase，ES，hive，spark, flink等分布式存储和计算技术，具备负责项目的实施能力；2.熟练数仓建模、ETL 数据抽取、报表开发、任务调度；3.熟练数据的采集、标准化处理、加工汇总、应用等数据开发过程；4.熟练使用redis、Kafka、mongo dB等中间件； 5.精通SQL开发与调优，熟练数仓领域及技能，包括但不限于元数据管理，数据质量，性能调优6.具备统一调度平台或数据交换平台自主建设能力，熟练datax,xxl调度，airflow等二、主要岗位职责：1.负责Hadoop、Spark、Hbase、Hive等分布式大数据产品的设计和开发 2。针对企业智慧大脑及工业大数据平台产品进行大数据分析、挖掘等产品应用的开发3.负责大数据平台各类业务抽象及模型化 4.负责大数据核心算法的编写 5.负责大数据平台数据及相关的应用开发、调优及维护 6.为相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题 职能类别：大数据开发工程师 关键字：hadoophiveESHBasesparkflink大数据大数据平台数据中台hbase