2024大数据架构师的基本职责合集11篇
摘要:上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。3.结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。4.对云数据平台的关注业内技
大数据架构师的基本职责精选篇1
职责:
1、负责spark, hadoop, flink等开发和优化。
2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。
3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。
4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.
5、主动创造和发掘新的基于大数据挖掘产品商业模式.
任职要求:
1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验
2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。
3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。
4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;
5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;
6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;
大数据架构师的基本职责精选篇2
职责:
1. 负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。
2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。
3. 结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
4. 对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。
任职要求:
1. 熟悉云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟悉控制、计算、存储和网络;
2. 掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。
3. 精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化;
4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;
5. 熟悉 Docker 等容器的编排封装,熟悉微服务的开发和日常调度;
6.计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。
大数据架构师的基本职责精选篇3
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队
岗位要求:
1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;
2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;
3、熟悉统计学基本原理,做过实战的数据建模项目;
4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;
大数据架构师的基本职责精选篇4
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求:
本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
大数据架构师的基本职责精选篇5
职责:
1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;
2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;
3.负责超大规模数据平台的搭建、维护和优化;
4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;
5.负责大数据平台新技术的开发使用和性能优化,测试。
任职资格:
1.计算机相关专业本科及以上学历;
2. 熟悉hadoop相关各种开源项目,比如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);
3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;
4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;
5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;
6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。
大数据架构师的基本职责精选篇6
职责:
1、对业务需求深入分析,从而进行大数据平台核心应用的架构设计、开发和技术支持;
2、规划业务应用系统和基础平台的技术架构,参与需求分析、建模、架构设计、技术决策以及详细设计;
3、把握复杂系统的设计,确保系统的架构质量,编写核心部分代码;
4、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关;
5、在大数据平台建设路线图指导下,进行架构实施和交付物投递,同时确保研发质量和方向的准确性;
6、进行团队技术的培训和梯队建设岗位要求;
任职条件:
1、本科或以上学历,计算机相关专业,8年以上研发经验,3年以上大数据平台相关工作经验;
2、精通Java开发技术,熟悉Shell、Scala语言和PYTHON优先;
3、编程基础扎实,熟悉I/O、多线程、集群等基础框架和原理,熟悉分布式、缓存、消息等机制;
4、熟悉常用设计模式,代码评审规则,单元测试,持续集成;
5、熟悉AWS云服务或阿里云服务;
6、熟悉容器技术原理、生态系统,熟悉Docker、Mesos、Kubernetes等容器系统、大规模容器资源调度系统、分布式应用生命周期。
大数据架构师的基本职责精选篇7
职责:
1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。
2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。
3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。
4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。
任职资格
1)统招本科或以上学历,计算机相关专业, 5年以上软件开发经验、3年以上大数据项目经验。
2)具备较丰富的大数据平台相关构建,维护及调优经验,有大数据量级下的大数据集市相关经验。
3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验,具备一定的数据挖掘经验。
4) 具有阿里云的EMR(emapreduce)的经验者优先考虑。
5)具有良好的业务理解、沟通和协作能力,具有较强的学习和总结能力。
6)优秀的团队合作精神、诚实、勤奋、严谨,敢于接受挑战。
7)机器学习技术、数据挖掘经验丰富者优先考虑。
大数据架构师的基本职责精选篇8
职责:
1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;
2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;
3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;
任职要求:
1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径;
3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、storm、spark、等;
4. 良好的逻辑思维能力,良好的业务解读能力,懂电力或通信业务优先;
5.具有钻研精神,乐于接受挑战;
大数据架构师的基本职责精选篇9
职责:
1、正确理解业务需求,对需求进行工作量评估;
2、参与项目相关的需求、设计、投产手册等文档的编写;
3、根据进度计划,完成所承担功能模块的设计、开发、单元测试、联调测试;
4、配合测试组修复代码缺陷,确保功能实现与代码质量;
5、负责所承担功能模块投产、部署,及上线后的日常维护;
6、完成项目经理或者架构师安排的其他工作;
任职资格:
1、本科以上学历,计算机相关专业,两年以上大数据开发经验;
2、熟悉Linux 环境,掌握shell或python;
3、熟练使用hadoop,hive,HBase,YARN,kafka,spark等大数据开发组件;
4、精通 ETL,数据仓库的设计和开发;
5、有大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储;
6、较强的动手能力和学习能力,良好的沟通能力、团队协调能力;
7、具有银行、金融行业从业背景者优先。
大数据架构师的基本职责精选篇10
职责:
1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;
2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;
3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;
4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。
职位要求:
1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;
2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;
3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。
大数据架构师的基本职责精选篇11
1. 负责大数据项目整体架构规划,包括应用架构、技术架构、物理架构和数据架构等;
2. 负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题;
3. 负责项目对外技术沟通,具有较强的沟通,表达和文档撰写能力;
4. 根据公司项目和业务发展特点,负责研究相关大数据前沿技术;
5. 推动技术能力的沉淀。
法律时刻来源链接:https://www.falvshike.com
本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时处理。
法律问题免费咨询,老师微信:Huhusfsf (点击复制微信号)
扫描二维码推送至手机访问。
版权声明:本文由即答官方结合法律法规整理并发布,多数内容为本站原创。极少部分为转载文章,并不用于任何商业目的,仅供学习参考之用;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!投诉邮箱:it137fx@163.com 如需转载请附上本文完整链接