小红书-数据工程师 职位描述 1、采集和整理公司产品数据，设计和构建稳健可扩展的数据模型和pipelines 2、建立并维护数据处理系统，保证数据正确性和系统可靠性 3、探索、开发并维护数据基础设施，提供各种高效数据访问和处理工具 4、和分析师，数据科学家与工程师们密切合作， 领导设计和开发数据仓库的架构和标准 5、保持好奇心，积极学习评估新技术和新策略

【典型项目】 开发和维护跨平台的ETL任务 创建和优化各种tables和schema，保证多维高效可信赖 通过数据的清洗和检查保证每日数据的健康 实现和优化高效稳健的数据tracking系统 帮助优化和改进query 任职要求 1、熟悉大规模数据处理的算法，了解分布式计算环境的原理 2、优秀的数据建模和沟通协作能力，理解互联网和移动互联网的技术原理和业务模型 3、熟悉SQL，对数据敏感 4、有能力评估新的技术，具有发现和探索问题的强烈兴趣和好奇心，并乐于学习和挑战 5、扎实的计算机基础，计算机或相关专业本科或以上学历

【加分项目】 1、有大规模数据处理或系统优化经验，对Hadoop开源生态系统的各种技术（Spark, Hive, Pig, Oozie, Impala, MapReduce, etc）有强烈兴趣 2、熟练编写脚本（Python, Perl, Bash, etc.） 3、了解或熟悉MPP平台（Vertical, Redshift, Teradata, Greenplum, etc） 4、有构建和维护ETL任务的丰富经验 5、BI工具(Tableau, Looker, etc)使用经验，或BI系统开发经验 6、熟悉数据库性能基本概念如索引，分片，分区等，深入理解关系型数据库的schema设计和性能调优 7、有熟练操作和优化SQL的经验，能使用Explain Plans和Query Profiles排除故障，调节query性能 8、有和业务伙伴和工程师一起工作的经验，懂得如何理解沟通需求 9、了解或熟悉数据仓库的生命周期 10、对A/B测试，自动化测试等工程实践有经验者为佳

对这一领域完全陌生，不明觉厉。但是又很好奇，谁能用通俗的语言解释一下呢？