远程-大数据运维

核心职责 1. Doris 存算分离架构运维 - 集群构建： 负责 Doris 存算分离模式（基于后端对象存储如 S3/OSS/HDFS）的部署、配置与高可用保障。 - 组件维护： 深入运维 Metaservice 和 FoundationDB (若涉及) 等关键元数据组件，确保存算分离环境下的元数据一致性。 - 缓存优化： 管理 BE 节点的 计算层 Cache (Local Cache)，根据业务访问模式调优热数据缓存策略，平衡查询延迟与成本。 2. 存储与成本管理 - 负责对接与管理 S3、OSS 或 MinIO 等后端存储系统，监控存储水位与 IOPS 瓶颈。 - 制定冷热数据迁移与生命周期管理策略，通过存算分离大幅降低 TCO（总拥有成本）。 3. CDC 实时链路建设 - 维护高性能 CDC (Flink CDC, Canal) 同步链路，实现从业务库到 Doris 的分钟级/秒级实时入库。 - 处理存算分离架构下的高频写入压力，优化数据导入产生的 Segment 碎片问题。 4. 故障排查与调优 - 解决存算分离模式下特有的瓶颈，如网络带宽占用过高、对象存储请求限频（Throttling）、Cache 击穿导致的性能抖动等。 任职要求 核心技术背景 - 学历背景： 本科及以上，计算机相关专业，4 年以上大数据或数据库运维经验。 - Doris 专项： 深入理解 Doris 存算分离原理，熟悉 FE、BE (Compute Node)、Metaservice 的交互逻辑。 - 存储功底： 熟练使用 S3-API 兼容的对象存储，理解对象存储的最终一致性与强一致性差异。 - CDC 实战： 必须有生产环境下的实时同步治理经验，能处理 Schema Evolution (DDL 自动同步)。