百度技术沙龙：探讨从日志分析中挖掘价值

　　当下，互联网应用蓬勃发展，已经融入了人们的生活。从沟通、获取信息到购物等等，人们已经越来越离不开互联网。而互联网企业要想提供更好的产品和服务，研究用户行为数据是前提之一。日志分析系统由于能跟踪用户行为，为决策者优化网站体验提供可靠的数据支持，日益受到互联网行业的重视。

　　2011年11月19日，百度技术沙龙第二十期活动在京如期举行。百度基础架构部资深工程师陈晓鸣及一淘网数据部高级技术专家张茂森共同担纲主讲，与工程师们分享海量日志分析架构及处理方面的经验。据悉，由于本期话题正是目前互联网技术热点，再加之讲师的吸引力，技术沙龙话题公布后，工程师们参与踊跃。短短两周内报名人数就达到了486人，由于人数太多，网上报名入口不得不提前关闭，最终到场的技术人员数量也接近300人。开始前15分钟，会场已座无虚席，甚至有听众专程从广州坐飞机赶来听课，不少人站立或坐在地上听完了演讲全程。

　　图：百度技术沙龙现场

　　图：微博网友线上讨论百度技术沙龙“爆棚”

　　时至今日，对数据的管理、分析、挖掘能力已成为衡量企业核心竞争力的标准之一。陈晓鸣现场介绍了百度日志处理平台LSP和海量数据处理语言DISQL的演化历程与架构思路，以及百度在日志分析中积累的一些经验。他认为，对于互联网企业来说，最有价值的数据，往往蕴藏在网站日志之中。通过日志不仅可以了解应用的使用量、活跃用户数、服务质量，还可以了解到用户的地域来源、使用偏好等许多关键信息，从而改善服务质量，更好地满足用户需求。但在实践中，随着网站用户规模增大和数据量的爆炸性增长，日志的管理、分析、挖掘变得越来越具有挑战性。百度在实战中也积累了大量对海量日志数据处理的经验，并演化出一套平台化、可定制、高性能、高吞吐、高可用的技术架构。

　　图：百度基础架构部资深工程师陈晓鸣分享百度海量日志分析架构及处理

　　作为中国规模最大、最活跃的网购平台，淘宝对网购者的消费行为和需求判断，是其运营体系中最重要的环节。张茂森从淘宝自身所使用的量子统计架构设计出发，分享了高并发数据分析网站的C10K问题，对关系型数据库和实时数据计算结果的异构融合以及分布式计算和任务管理等，也进行了详细的阐述。

　　图：一淘网数据部高级技术专家张茂森讲解淘宝量子统计架构设计中的核心点

　　此次技术沙龙让关注日志分析系统、数据分析和挖掘的工程师们以另一种思路跳出现有的技术去审视日志分析系统。百度通过DISQL层为数据分析提供内部平台化服务，一淘则利用JS/ajax卸载服务端数据分析逻辑和展现，利用LUA作为粘合剂搭建服务平台。一位工程师在微博上表示，通过百度和淘宝两位资深工程师向大家分享的两条泾渭分明的技术路线，让他明白了“技术无优劣，适应有侧重。”

　　图：百度技术沙龙结束后，参会者总结听课感受

　　在沙龙最火爆的OpenSpace环节，有两大亮点吸引了全场参与者的关注，一是来自新浪、友盟、多玩游戏的日志、数据分析专家的互动参与，提升了整个沙龙互动讨论环节的专业性;二是沙龙期间，微博上的讨论也异常热烈，就数据分析这个经典而又内涵丰富的话题进行了多方观点的呈现，陈晓鸣的讲稿在沙龙当天就吸引了500多人下载和转发，足以看出数据分析对技术人的诱惑力。

　　据悉，现在，百度技术沙龙已成为互联网行业内技术工程师、开发者群体广泛认可的技术交流平台。不局限于面对面交流活动，百度技术沙龙也建立了技术沙龙微群(http://q.weibo.com/191905)，工程师们可以在其中与讲师们交流工作中遇到的技术问题，下载课件资料。百度技术沙龙每月一期，在技术全开放的氛围下，分享热门技术趋势和话题，已成为互联网行业技术交流的品牌活动。