毫无疑问,今天的世界正在从IT时代走向DT时代。目前,在全球范围内,大数据产业2016年的数字是281亿美元,2020年将翻一番达到570亿美元;而中国市场也将从26亿增加到89亿美元,提升了3.5倍。
不仅如此,现在已有超过三分之一中国企业在使用大数据,还有23%的中国企业计划一年内使用大数据,这也印证了一个事实,如今数据的价值已经被推到前所未有的高度。
作为中国最早规模化应用大数据的公司,联想在大数据领域有很长时间的实践验证经验和自主研发的技术积累,其大数据的处理能力仅次于BAT。现在,它希望通过更加简单、高效的方式做大数据的技术输出,真正有效地帮助各行各业用户把大数据的应用实现落地。
从实践验证到技术输出
实际上,早在2011年,联想就开始了大数据的应用和研发,经过不断的探索和实践,大数据逐渐走入了联想业务价值链的全过程,形成了产品和用户两个方面的大数据应用闭环。
联想集团副总裁、首席研究员大数据事业部总经理 田日辉
一方面,是基于大数据的产品价值链闭环,是指从产品设计、产品生产、产品销售到市场推广的全过程。比如,在设计环节,联想会通过大数据得到的反馈,来优化产品的设计和提升产品的品质;在生产环节,会把产线的生产数据,包括供应链的数据,都在大数据平台上进行统一分析,来进行产品生产的预测;在销售环节,则会把市场活动数据、销售通路数据整合在一起分析判断,从而指导渠道管理和销量预测等工作。
另一方面,是围绕大数据的用户经营闭环,是指通过Lenovo ID这个用户注册入口,联想可以把用户在手机、电脑、平板以及各种应用上的行为能够进行统一的追踪,在基于隐私保护的情况下,参与联想的体验改进计划,同时和售后服务等数据项结合,进一步提高联想的用户体验和服务体验。
在联想集团副总裁、首席研究员、大数据事业部总经理田日辉看来,历经五年的战略投入,联想真正打造了一套统一的大数据整合平台、端到端的产品优化体系、用户经营体系、业务决策支持预测体系,有效推动了联想全价值链的数据智能转型。
更关键的是,在多年实践验证的基础上,联想自身也构建出了业界强大的大数据竞争实力,我们可以从三个维度来看:
首先,从数据规模看,联想目前已在全球部署了9大数据中心的超大规模集群,规模达到2000+台服务器,3000+名操作用户;存储总容量规模12PB,数据实际总量达到9PB以上;日新增数据约30TB,日处理涉及数据达到4.3PB,是国内大的制造企业数据集群。
其次,从技术能力看,联想大数据具备全球部署超大规模集群的运维管理能力、PB级数据与复杂业务实践的丰富经验,能够为客户提供从底层平台到上层应用的端到端全面解决方案。
最后,从人才规模看,联想大数据团队是业界领先的少数掌握大数据核心技术的研发团队,人数规模超过500+,涵盖从解决方案、产品研发、项目实施、售后运维全部商业环节,并拥有联想大数据专家、数据科学家、行业顾问50余人,其中,80%海外留学背景、博士占比70%,工信部专家,博士后导师为学术带头人。此外,联想大数据有一支超过100人的专业服务团队,遍布全国一线城市的售后服务体系,独有的大数据培训认证服务也为企业大数据业务持续发展提供保障。
由此可见,联想大数据平台已实现了对联想集团全球化管理、生产与运营体系的全方位支撑,同时大数据的长期实践又构筑了联想大数据商业化的基础,为联想赋能各行各业的大数据升级和转型奠定了坚实的基础。
联想大数据的“杀手锏”:LEAP平台
所谓“工欲善其事,必先利其器”,联想之所以能在大数据领域建立起强大的核心竞争力,靠的就是联想企业级大数据分析平台(LEAP),这个平台正是联想在大数据领域“五年磨一剑”的印证,也是其最重要的“杀手锏”。
联想LEAP平台是联想自主创新的具有自主知识产权的、稳定可靠、性能优异、易用易管理的企业级大数据平台。
在最新推出的LEAP 3.2.0版本中,包含四大核心产品:大数据计算平台(LEAP-HD)、数据智能平台(LEAP-AI)、数据资产管理平台(LEAP-DataGov)、数据集成交互套件(LEAP-DataHub),整合了最先进的大数据开源技术,实现了基于联想服务器的大数据企业级PAAS平台,面向企业客户提供大数据深入优化服务。
第一,在数据集成交互套件方面,LEAP平台支持多种结构化和非结构化数据的灵活集成,提供与众多系统和设备对接的集成套件,能够为企业快速收集其内部运营销售数据以及信息系统之外的设备、用户和社交数据等,并且能够根据企业的需求方便地快速扩展。
第二,在大数据计算平台方面,LEAP平台基于Hadoop/Spark生态系统,引入了多种核心功能和组件,对复杂开源技术进行高度集成和性能优化,面向基础设施层进行深度调优。在分布式存储系统的基础上,建立了统一资源调度管理,高效地支持大规模批处理、交互式查询计算、流式计算等多种计算引擎。与此同时,LEAP平台还为企业级分析提供最佳性能和高稳定性的大数据计算环境。
第三,在数据智能平台方面,LEAP平台预集成了各类数据挖掘算法,结合多年的实践优化,显著提升算法的运算效率,为数据深度挖掘提供支撑。此外,结合内嵌的应用工具集,能够为用户提供一站式、可视化、低门槛、高价值服务。
不仅如此,LEAP平台的运维管理工具,快速完成产品套件的安装部署、节点监控、访问权限管理、资源配额管理、系统告警分析、升级扩容等计算平台维护工作,通过统一界面实现对LEAP分析平台及运行状况的易用、易管理。
另外,通过联想的自主研发,LEAP突破了传统架构和性能瓶颈,并提供五十多种数据接入适配能力,通过全图形化的灵活配置,可以实现多源异构数据的快速采集与集成。在算法方面,LEAP还提供目前最全的并行数据挖掘算法,同时整合超过5000个R语言算法包,并对原生算法提供深度优化,保证了易用性和准确性。
LEAP还提供高标准数据安全保障,平台支持细粒度的数据访问控制,并扩展了多租户管理及资源隔离;支持TCM硬件级密码计算和密钥保护,从而提供全面和高标准的数据安全保障机制。
田日辉认为,得益于联想大数据团队的不断优化,LEAP平台在很多方面具备了领先优势。例如,联想一直深度优化Spark性能和系统整体能力,使得LEAP评测性能比最新开源标准发布产品提升20%到30%,新技术引入领先主要友商3到6个月。
此外,联想还深度优化实时计算引擎,可支持物联网百万传感器的实时采集需求,实现500MB/s的传感器数据的实时预警分析能力,根据业务场景的需要,支持秒级、甚至毫秒级的突发事件预警 。
显然,LEAP平台无疑正是为这些“痛点”而生,其提供的大数据平台、数据智能算法和咨询服务为企业提供了“一条龙”的大数据之路。从某种程度上来说,正是联想自身的实践验证,让联想成为了最理解企业大数据应用链条、并且能够提供完整解决方案的公司。
联想大数据之路的价值
田日辉表示,“开源平台,深度优化,易用安全”是联想大数据的核心理念,所以,尽管目前市场上有很多公司都在提供大数据的解决方案,但是联想的大数据解决方案有明显的差异化优势,可以归结为三个方面:
一是,联想的大数据方案源自全球实践验证,实战锤炼证明具备一流的可靠性。和互联网公司相比,联想的优势在于对企业级客户有深刻的理解,在供应链优化、库存优化、产品质量优化方面具备更多的实践经验;和传统的大数据公司相比,联想的优势是平台的开放性,技术是以开源技术为基础来构建的,客户可以更快地把技术应用到实际的业务当中。
二是,联想的大数据平台具有自主研发的优势。联想LEAP平台包括28个核心模块,其中20个模块基于开源技术优化,8个模块则是联想自主研发。此外,联想大数据平台在软硬件一体化安全管理方面也有独特的创新。今年3月,联想大数据入选工信部国家“大数据优秀产业、服务和应用解决方案”;随后LEAP又通过数据中心联盟认证,是所有认证规范全部通过的厂商之一,这表明联想大数据平台的功能、运维、多租户、可用性、安全性、兼容性、扩展性等7项指标均得到认可。
三是,联想不仅提供技术工具,平台更具备开放性。换句话说,联想在提供大数据计算和应用基础能力的同时,更多的企业也可以基于LEAP构建出适合他们自身场景的大数据应用。联想可以让用户从底层平台、业务模型、数据模型、数据接口变成一个集成的方案,真正让企业用户能够做到快速部署,让大数据尽快发挥效果。
最后,在数据资产管理方面,联想一直将数据对象作为一种全新的资产形态,围绕数据资产本身建立一个可靠可信的管理机制,提供数据标准管理、数据资产管理、元数据管理、数据质量管理、数据安全等,以实现数据的可管、可控、可视,为实现数据价值增值奠定良好基础。
实际上,经过多年的努力,联想大数据服务已经成功应用于多个行业,通过大数据技术帮助很多企业实现了以数据支撑业务新发展的战略规划。例如,某钢铁集团和联想合作,利用大数据平台,通过机器学习等模型算法,建立了分钢种的钢材需求量和分汽车生产商的订货量等预测功能,结果显示预测的方案大幅度提升了预测准确率和客观程度,达到90%以上。
再如,某汽车生产企业和联想合作构建大数据分析系统,实现了本企业各类运营数据、车联网数据等快速融合、集中管理和透明开发,其中在精准营销方面,与传统营销模式比较,营销费用降低了约26%,营销的成功率提升近8个百分点。
联想的大数据进阶之路,正是其从技术实践者到技术服务者的表现,相信这种经历自身实践的与众不同之处,无疑会让联想未来的发展充满更多的想象空间,也会大大加快中国大数据的商业化进程。