大数据开发工程师

一、岗位职责 负责公司大数据平台及数据产品相关功能的设计、开发、建设和持续优化。 负责大数据采集链路建设，能够根据业务场景完成结构化、半结构化及实时数据的采集、同步和接入，包括数据库、消息队列、日志、接口及设备数据等。 负责离线及实时数据处理任务开发，基于 Spark、Flink、Kafka、Hive 等大数据组件完成数据清洗、转换、聚合、关联及计算处理。 负责数据仓库及数据模型建设，包括数据分层、数据建模、指标加工、数据质量处理等工作。 负责复杂 SQL 的开发与优化，能够处理大规模数据场景下的多表关联、聚合计算、窗口计算、多维分析等业务需求。 使用 Java、Scala、Python 等语言进行数据处理程序、数据服务及大数据平台相关功能开发。 负责大数据计算、存储及查询组件的性能分析和优化，包括任务执行效率、资源使用、数据倾斜、并行度、内存、Shuffle、IO 等方面的调优。 负责大…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。