我是一名专业的大数据系统架构师,写这个博客为了记录工作上和生活上的点滴收获。除了明确标明,其他均属于个人原创,任何形式的转载请联系本人。

我的能力与爱好:

  • 分布式大数据平台和应用的研发:对HadoopHbaseElasticSearchSqoopFlumeSparkHive等均有多年的运维、底层代码研发和应用开发的经验,应对大小问题无数。
  • 复杂软件系统的设计和实现:善于设计复杂的大型互联网软件系统,并进行持续的优化迭代。设计并主导的项目包括但不限于:基于知识图谱的大型多源社会化数据网络,基于Yarn的可扩展弹性实时流式计算框架,Hadoop各种元数据的整合优化系统,基于Hbase和Gmond的超大型系统指标收集和报警系统,基于纯内存图结构的定制化任务调度系统,等等。
  • 旅行与摄影:在旅行中寻找内心的自己,用摄影保留美好的瞬间,我用它们来热爱生命。

我的工作经历

  1. 宜信大数据创新中心(2014年4月至今):全权负责宜信的大数据风控团队(姨搜组)的产品与研发,为整个公司提供数据整合与在线服务、风险决策引擎服务、公网数据整合分析和网查自动化、三方数据整合分析和服务,以及进行中的统一风险分析平台。从0开始负责宜信金融云的基础数据层(定制化的知识图谱)的设计与研发,带领团队在基础数据层之上进行数据融合并开发业务系统。负责所有大数据相关的系统的研发、运维和技术支持(包括但不限于Hadoop、Hbase、ES、Hive、Presto、Spark等)。
  2. 新浪集团(2012年3月至2014年4月):设计并开发了流式计算框架、Hadoop元数据管理系统、指标收集和报警系统、调度系统等,进行了Hadoop定制版本的开发,并参与了集群的运维和调优,为集群从小到大的过程提供了有力的支持。
  3. 阿里集团(2011年7月至2012年3月):基于社区HDFS的改进版的分布式文件系统的研发。

我的教育经历

  1. National University of Singapore(2009年7月到2011年8月):主要研究方向是云计算的性能分析,论文题目Map Reduce框架的性能建模与优化,GPA 3.88/4。
  2. 西北工业大学(2005年9月到 2009年6月):成绩前3%,多次获得各种奖学金。