定位城市:

岗位职责：
1、负责基于 Spark（Scala） 的核心数据处理模块开发，支撑全球企业多源数据的高效汇聚、清洗、标准化与融合；
2、设计并实现高可靠、高性能的数据计算任务，输出结果至 HDFS、HBase、Kafka、Elasticsearch 等存储系统；
3、参与数据质量监控、异常检测及性能调优，保障 TB 级数据 pipeline 的稳定运行；
4、编写清晰的技术文档，包括数据流程说明、接口规范及运维手册；
5、协同运维与数据团队，参与平台日常维护与问题排查。
任职要求：
1、本科及以上学历，计算机、软件工程、数学或相关专业，2年以上真实大数据开发经验；
2、精通 Scala 语言，具备扎实的函数式编程能力，1年以上 Spark（RDD/DF）实战经验；
3、熟悉 Hadoop 生态体系，深度使用过 HDFS、HBase、Elasticsearch 等技术；
4、具备TB级数据处理经验，能独立完成从数据接入、加工到输出的全链路开发；
5、熟悉数据建模、ETL 流程及常见数据质量问题的处理方法，对数据准确性与一致性有高度敏感性；
6、具备良好的沟通协作能力、责任心强，能主动推进任务闭环；

展开更多