岗位职责： 1、负责公司Hadoop集群资源管理调度器优化，包括但不限于集群规模、调度吞吐能力、资源利用率等多个方向。 2、负责大数据底层技术组件社区跟进、关键问题攻关，解决平台应用开发、数据开发、运维等用户反馈的平台技术难题。 3、根据公司业务场景需求，对现有底层技术组件进行稳定性健康运行保障、性能优化、二次开发、版本升级。 4、根据公司项目和业务发展特点，研究大数据相关前沿技术。 任职要求： 1、基本要求：本科及以上学历，计算机、数学等相关专业。 2、工作经验：5年以上工作经验，有开源社区主流项目的COMMITER和PMC经验者优先。 3、知识技能： 1）熟练使用Hadoop、Spark、Flink等大数据技术，熟悉SQL、Java、Scala、Python等编程语言； 2）熟悉Spark、Presto/Trino、Flink、Hive、Impala等主流大数据系统原理及源码，可以对底层组件进行源码二次开发； 3）有超PB级别大数据处理实战经验，熟悉整个大数据的完整处理流程，优秀的问题解决能力； 4）熟悉主流的OLAP引擎的优化原理，向量化执行、Filter下推、物化视图、列式存储等； 5）熟悉HUDI、Iceberg或者DeltaLake 为代表的数据湖技术。 4、素质要求：积极主动，责任心强，执行高效，良好的沟通和团队协作能力，善于解决和分析问题。