大数据运维工程师岗位的基本职责描述
“流光水母”通过精心收集，向本站投稿了12篇大数据运维工程师岗位的基本职责描述，下面是小编帮大家整理后的大数据运维工程师岗位的基本职责描述，希望对大家带来帮助，欢迎大家分享。
篇1：大数据运维工程师岗位的基本职责描述
职责：
1、负责维护服务器的运行，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;
2、负责服务器漏洞整改及补丁升级;
3、负责hadoop运维相关工作;
4、负责大数据平台的日常部署、升级、扩容、迁移;
5、负责高并发，大存储和实时流的Hadoop/spark大数据平台规划，运维，监控和优化工作。
任职资格
1、2年左右服务器运维经验;
2、对linux基础运维命令熟悉，shell,python至少精通一种，如会scala语言可优先考虑;
3、熟悉Linux的维护和管理，熟悉bat及Shell脚本开发，能看懂Python/Scala优先;
4、做过大规模hadoop集群优先;
5、大数据项目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建，监控，运维，调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。
篇2：大数据运维工程师岗位的基本职责描述
职责：
1、负责云平台等基础环境规划及建设，虚拟化等技术实施;
2、负责机房物理设备的日常巡检，对云平台及大数据运行环境的日常维护，保证运行环境的安全和稳定，对突发事件进行快速处理和恢复;
3、负责Hadoop集群的部署及日常维护，熟悉Hadoop生态圈组件的配置与调优;
4、负责硬件设备和系统软件购买采购数的拟定，以及运维相关技术文档的整理和维护。
任职要求：
1、***优先，30岁以下，计算机相关专业，统招本科及以上学历，3年以上中、大型云平台服务器运维经验。
2、具备基本的机房建设及管理能力，能对机房内服务器、交换机、路由器等物理设备巡检维护数据备份及恢复。
3、熟悉TCP/IP协议，熟练掌握CISCO路由器、防火墙、交换机配置，具备一定的网络规划和组网技术能力，负责VLan及子网划分，提供内外网及VPN连接等网络接入方式;
4、熟悉KVM/Docker等虚拟化技术，及基于VMWare/OpenStack云平台的搭建及运维;
5、有丰富的Hadoop生态系统运维经验，了解Hadoop、STorm、Spark、Kafka、zookeeper这些组件的原理，具备部署、实施、维护hadoop集群及相关组件的能力。
6、熟悉Zabbix、Nagios等开源运维监控系统，熟悉通过LVS/Keepalived/Hearbeat技术实现负载均衡，了解CDN技术。
7、有中大型云平台数据中心容灾建设方案(一城两中心、两地三中心)实施经验者优先;有思科认证(CCNA/CCNP/CCIE)证书者优先。
8、为人正直，有责任感，工作认真细心。
篇3：大数据运维工程师岗位的基本职责描述
职责：
1、负责大数据基础架构平台(Hadoop/Spark/MPP DB)的自动部署;
2、负责线上数据平台的运维，保障服务的稳定性和可用性;
3、参与超大规模数据快速查询系统的架构设计和开发;
4、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统的运维效率。
任职要求：
1. 熟悉linux shell及SQL语言
2. 了解Hadoop等分布式技术，数据仓库技术;
3. 熟悉数据仓库数据流监控、故障自动化定位及运维;
4. 强烈的责任心与求知欲，愿意学习新技术并能快速应用;
5. 有较强的书面与口头沟通表达能力，独立分析、解决问题的能力;
6、做事认真负责，自学能力较强。
篇4：大数据运维工程师岗位的基本职责描述
职责
1、维护基于Linux的系统和相应的组件;
2、维护Hadoop集群，包括hdfs、hive、sqoop、kafka等核心生态系统，确保集群运行平稳;
3、基于***实践，根据业务需求设计和优化Hadoop生态系统;
4、设计和维护Hadoop相关基础设施的监控;
5、维护技术文件;
6、根据业务需求设计和安装新的生态系统或技术组件，并制定最终解决方案。
任职资格
1、本科及以上，信息技术或相关专业;
2、2年以上企业Linux系统和Hadoop经验;
3、Hadoop生态系统的经验和知识(必须具备：HDFS, Yarn, Hive, HUE;倾向具备：MapReduce、Spark、Kafka、Logstash、Flume);
3、较强的事故分析和故障排除能力，较强的shell脚本编写能力;
4、了解HA机制者优先;有ITIL知识者优先;
5、有跨国工作经验者优先;
6、愿意学习新事物，解决问题。
篇5：大数据运维工程师岗位的基本职责描述
职责：
1.负责大数据业务集群的运维工作(Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大数据生态圈组件)确保高可用性。
2.负责集群容量规划、扩容及性能优化;
3.参入建设大规模分布式集群的运维、监控和管理平台;
4.参与业务架构设计，在设计阶段给出可运维性改进建议;
5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向。
任职要求：
1.三年及以上大数据运维工作经验，熟悉hadoop、hbase、hive、Solr、ES等分布式相关技术，熟悉源码尤佳，至少掌握java/python/shell中的一种语言。
2.了解大数据平台应用架构，具备常见问题的基本分析和解决能力。
3.熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题;
4.熟悉nginx、tomcat等web应用及中间件的使用和配置
5.强烈的责任心和使命感，执行力强，富有团队合作精神;
6.对大数据方向运维有很高的热情和兴趣，能主动学习了解相关知识;
篇6：大数据运维工程师的基本职责
职责:
1、技术保障各底层支撑系统的可靠性与稳定性;
2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;
3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;
4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率
任职资格:
1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;
2、熟练使用Linux、TCP/IP网络协议栈，了解常用的Troubleshooting手段和常见性能指标
3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;
4、熟悉主流PaaS云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;
5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;
6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。
篇7：大数据运维工程师的基本职责
职责：
1.负责Hadoop、spark、hbase、oozie、hive等平台运营和优化工作，保障平台服务运行稳定、高效。
2.负责大数据方案架构及方案落地;
3.开发Hadoop大数据管理平台与监控建设;
3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;
4.负责集群网络架构、机器管理等。
任职资格：
1. 全日制本科以上学历，三年以上后台系统运营工作经验;
2. 熟悉hadoop原理，具有Hadoop平台应用及管理经验，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;
3. 熟悉linux操作系统及调优;熟悉sql编程，熟悉Shell/Python/Java/Perl语言的一种或多种，有开发经验优先， 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;
4. 对大数据和自动化运维开发有浓厚兴趣，有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。
篇8：大数据运维工程师的基本职责
职责:
1、负责Hadoop平台搭建，运维，管理，故障处理。
2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。
3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。
4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。
岗位要求:
1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;
2、至少精通 Perl/Python/Shell脚本语言中的一种;
3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;
4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。
5、有独立分析问题和解决问题的能力，能出差。
篇9：大数据运维工程师的基本职责
职责：
1. 负责大数据平台的稳定性和性能优化;
2. 负责大数据项目的运维工作;
3. 针对业务需求制定统一的运维解决方案;
4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;
任职要求：
1、熟练掌握hadoop平台搭建、维护，有平台优化经验;
2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理，有阅读源码能力者优先;
3、熟悉腾讯云产品，有腾讯云EMR使用经验者优先考虑;
4、熟练掌握java、python语言，熟练使用SQL，并有一定的优化能力
篇10：大数据运维工程师的职责精选
职责：
1、负责大数据平台Hawq数据库运维;
2、负责大数据平台Tbase数据库运维;
3、负责传统数据(Oracle、MySQL等数据库)数据迁移、数据同步;
4、负责日常数据库的监控及问题分析排查;
5、负责OGG、Kafafa等组件数据传输同步日常运维;
6、负责数据库的优化、SQL语句的优化调优;
7、负责数据同步的检验与异常处理，确保数据的一致性、完整性、及时性;
8、负责制定数据同步方案及实施。
任职要求：
1、大专或以上学历，计算机或统计类相关专业
2、有3年以上技术类或数据类的开发经验;
3、熟练linux 系统操作及linux 运维监控、软件安装配置;
4、熟悉大数据技术，如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流数据库mysql/sql serverl/oracle/postgreSQL等，精通SQL语句，对复杂SQL能进行优化，能熟练编写存储过程;
6、熟练Linux SHELL，可以进行运维SHELL开发;
7、学习能力强，责任心强，具有优秀的沟通表达、理解能力与团队合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系统，有Shell脚本编写经验的优先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)数据仓库的实际运维经验或3年以上 HIVE、SPARK 实际项目运维经验
10、在实际项目中，有异构数据库迁移经验，从传统ORACLE,MYSQL迁移至MPP数据仓库的实战经验.
篇11：大数据运维工程师的职责精选
职责:
1. 负责公司核心集群的运维工作, 任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;
2. 负责集群容量规划、扩容及集群性能优化;
3. 基于大数据应用需求，持续优化Hadoop框架及组件的配置，提升性能;
任职资格：
1.大专以上计算机，通信和网络相关专业;
2.3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验;
3.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验;
4.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验;
5.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作;
6.熟悉Kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作;
7.能维护Hadoop源码，有Hadoop 源代码BUG修复或者源代码优化经验者优先;
8.有Cloudera的CM使用经验尤佳。
篇12：大数据运维工程师的职责精选
职责：
1负责政务云平台、政务应用系统中数据库业务的日常运维，保障平台及应用系统服务7*24稳定可靠高效运行
2负责数据库性能调优，了解锁与隔离机制，协助客户解决数据库性能瓶颈
3制定数据库使用规范，制定数据库备份、升级、迁移规划并部署实施
4参与数据库设计工作，提高数据库维护自动化水平
5熟悉Linux操作系统，熟练使用Python，Go，Shell等至少一种语言
岗位要求：
1) 5年以上 Oracle/MySQL DBA 从业经验;
2) 熟练掌握 Oracle/MySQL 数据库的基础理论知识、运行机制、体系架构、高可用方案、备份机制、容灾机制等;
3) 熟练掌握数据库性能优化，了解主流的分布式数据库 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系统，对服务器硬件有一定了解;
5) 熟练掌握 golang、Python、Java 等语言中的一种;
6) 熟悉阿里云产品线，具备ACP认证者优先考虑;
【大数据运维工程师岗位的基本职责描述】相关文章：
10.运维管理工程师求职简历
文档为doc格式
