岗位职责：

1.负责大数据应用产品的代码研发、重构和优化；

2.在技术深度、架构设计、数据处理能力和业务敏感性之间保持良好的平衡；

3.关注并研究大数据生态最新的前沿技术，推动产品技术革新；

4.能够为企业提供全方位的数据支撑和创新驱动力。

任职要求：

1.精通至少一种编程语言（如 Java、Python、Scala），熟悉其在大数据生态系统中的应用。掌握脚本语言（如 Shell、Bash），能够编写自动化脚本进行数据处理和运维。

2.深入理解操作系统、计算机网络和分布式系统原理。熟悉常见的数据结构和算法，能够高效处理大规模数据。

3.熟练使用关系型数据库（如 MySQL、PostgreSQL）及优化技巧。熟悉 NoSQL 数据库（如 HBase、Cassandra、MongoDB）和列式存储（如 Parquet、ORC）的特点及适用场景。备数据建模能力，能够针对业务需求设计高效的数据存储方案。

4.掌握大数据技术栈。精通 Hadoop 生态（HDFS、YARN、MapReduce）。熟练使用 Spark、Flink 等分布式计算框架，能够实现高效的数据处理。熟悉批处理与流处理架构，能够灵活应用场景优化计算性能。熟悉数据采集工具（如 Kafka、Flume、Sqoop），能够设计高效的数据流动方案。熟练掌握数据仓库（如 Hive、ClickHouse、Snowflake）的架构和查询优化方法。深刻理解分布式文件系统（如 HDFS、Ceph）的设计原理与应用。熟悉存储优化技术（如冷热数据分层存储、多副本策略、数据压缩等）。

5.良好的数据分析与挖掘能力。精通 SQL，能够编写高效、复杂的查询语句。具备数据清洗、转换和特征工程的能力，熟悉 ETL 流程及优化技巧。熟悉机器学习和统计学基本概念，能够使用常见工具（如 Pandas、Scikit-learn）进行数据分析与建模。

6.具备分布式系统设计与性能优化能力。熟悉 CAP 理论、数据一致性和分布式事务处理，能够设计高可用、高吞吐的系统架构。能够根据业务需求进行合理的技术选型（如 Lambda 架构、Kappa 架构）。优化分布式计算任务的性能（如 Spark Shuffle 调优、分区策略优化）。熟悉集群资源管理和任务调度工具（如Kubernetes、YARN）。

7.具有 DevOps 实践经验，熟悉 CI/CD 工具（如 Jenkins、GitLab CI），能够构建大数据开发与部署流水线。掌握容器化技术（如 Docker）和大数据环境的容器化部署。熟悉大数据集群监控工具（如 Prometheus、Grafana），能够快速定位和解决性能瓶颈。

8.具备强烈的业务敏感性，能够根据业务需求设计高效的数据处理流程和分析模型。善于在数据中发现价值，并提供可行的技术解决方案支持业务决策。

9.良好的创新与解决问题能力，善于分析业务场景，主动发现优化点并提出技术解决方案。

10.能与团队紧密协作，跨部门推动数据平台建设和业务落地。参与过大规模数据处理或实时分析项目，能够展示关键技术突破点和项目成果。