日前,金山云和英特尔合作推出数据分析领域解决方案KMR(Kingsoft MapReduce)。KMR采用英特尔至强处理器E5 v4产品家族的硬件平台, 是一个可伸缩的通用数据计算和分析平台。它以Apache Hadoop 和 Apache Spark两大数据计算系统为基础,通过自动调度弹性计算服务(KEC),能够帮助企业用户快速构建分布式数据分析系统。

金山云的发展大致分为三个阶段:云计算、大数据以及人工智能。

云计算,说白了就是以IaaS和虚拟化等技术为核心支撑,让企业将其业务放到云端,降低企业的部署成本,并且加速企业业务的发展。接下来,云上会产生很多数据,必须要有利用这些数据驱动企业进行决策的能力,这个时候就需要以Hadoop为代表的大数据处理技术。第三步,其实就是人工智能,像人脸识别等,这本身就是一个对性能和规模有非常高要求的行业,天然适合上云,所以之后金山云会着重布局。

要实现这些的基础,就是靠金山云机器学习平台 KML(Kingsoft Machine Learning),这是机器学习/深度学习任务托管平台,底层基于金山云高性能异构计算集群,融合了 Intel 等合作伙伴的技术。

会上,金山云大数据和AI技术总监张东进从成本、效率、性能、安全四方面阐述了KML的价值:

  • 成本方面,平台会按实际的运营时间收费,这样就能帮企业省去系统研发和维护成本。

  • 效率方面,这是一个全功能的深度学习集成环境,包括TensorFlow,以及英特尔的BigDL等框架。由于是全流程平台,所以从整个物料的预处理、物料的存储、物料的训练、评估、上线预测等等方面都提供完整的支持。

  • 安全方面,做人工智能最核心的不是算法,还是数据。KML可以提供一个企业级的数据加密和企业级HPC集群保证数据安全。

  • 性能上,底层是基于成熟的异构计算集群,其中就包括英特尔给提供的高性能E5系列的CPU,以及万兆网卡和英特尔SSD技术。

至于英特尔方面,技术专家也表示,目前和金山云一直在努力合作的部分是,端到端、云上大数据解决方案。拿最典型的KMR计算举例,数据是放在块存储还是放在对象存储呢?这个实际上是有不同的配置,比如用户想节省成本,想成本最低,都是批处理,这个时候可能把数据全放在底层对象存储,用KS3做对象存储,这样的话,当计算的时候,Spark直接从对象存储调用数据计算。同样,如果说想保证效率,计算的实时性要求很高,这个时候可以在内存里面建立一个内存文件系统,现在叫Alluxio,把热数据全部缓存在内存里面,直接用上面的KML或者是Spark实现内存计算,保证查询的实时性和计算的实时性。

所以,英特尔和金山云的合作目的是对每一个模块进行优化,按照云的特性,大数据的特性,把双方结合起来。

金山云跟英特尔合作推出KMR,发力人工智能

发表评论

电子邮件地址不会被公开。 必填项已用*标注