品牌头条新闻LOGO

卢亿雷:Hadoop在广告监测技术的实践

        卢亿雷,AdMaster技术副总裁。曾在联想研究院、百度基础架构部、Carbonite China工作;关注高可靠、高可用、高扩展、高性能系统服务,关注Hadoop/HBase/Storm/Spark等离线、流式及实时分布式计算技术。
/
        对分布式存储和分布式计算、超大集群、大数据分析等有深刻理解及实践经验,对Lustre,HDFS,HBase,Map/Reduce,Storm,Spark等有很深的理解。2006年硕士毕业,一直从事云存储、云计算开发及架构工作,多年Hadoop实战经验,专注于分布式存储、分布式计算、大数据分析等方向,有多个发明专利,《一种分布式文件系统及其数据访问方法》和《一种数据备份的版本管理方法及装置》等。曾多次被51CTO、CSDN、IT168、InfoQ、阿里技术邀请为嘉宾分享Hadoop大数据在互联网的应用。
 
        以下为采访原文:
 
        记者:你所在的公司,都曾使用过哪些大数据技术?你对这些技术满意的地方和不满意的地方分别有什么?
 
        卢亿雷:AdMasterAdMaster是一家营销数据技术公司,通过软件即服务(SaaS)平台整合多源数据,助力品牌挖掘数据应用的商业价值。目前主要用的大数据技术有:
 
        • 数据采集:Nginx,LVS;
        • 数据存储:HDFS,HBase,Elasticsearch,MySql,AeroSpike,Redis;
        • 数据分析:Map/Reduce,Storm,Spark等;
        • 虚拟化技术:OpenStack,Docker等。
 
        对大数据技术的水平扩展非常满意,特别是数据采集的WEB集群、Hadoop存储和计算集群;还有就是大数据技术的更新速度很快,使得大数据技术可以快速满足业务的发展。
 
        大数据技术里比较难的是学习成本会比较高,需要时刻跟上技术发展节奏才可以,还有就是需要正确选择一个最适合自己公司发展的技术。
 
        记者:根据你的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?(可以从软件、硬件、开发者的角度分别谈谈)
 
        卢亿雷:目前在数据方面,从软件方面来说技术的选型显得非常重要,而从开发者角度来说需要经常更新自己的知识,适应技术发展。另外还有就是数据分析挖掘方面技术人才非常缺乏,很多企业手中有大量数据,但有些是孤岛数据,有些是无效数据,所以怎么样快速准确的建模是目前遇到的最大困难,特别是既懂行业又懂技术的数据分析师太少了。
 
        记者:在大数据领域,目前还有哪些技术是你正在观察和研究的,为什么你看好这些技术?
 
        卢亿雷:关注高可靠、高可用、高扩展、高性能系统服务,关注Hadoop/HBase/Storm/Spark等离线、流式及实时分布式计算技术,特别是流式和实时计算,2007年左右我就接触了实时数据库这块,一直到现在,随着用户的需求越来越高,硬件成本也越来越低,坚信SSD+内存的方式将会极大加速产业的发展。对广告行业感兴趣的听众、对大数据落地技术实践感兴趣的听众、对Hadoop感兴趣的听众;将会给听众介绍广告行业是怎么应用大数据技术的,特别是广告业务不为人知的很多方面,还有就是Hadoop方面的一些对应用具体的优化,包括AdMaster的自有开发的ADH版本的一些特点。
 



免责声明:本文仅代表作者个人观点,与品牌头条无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

相关推荐

留言与评论(共有 0 条评论)
   
验证码: