云鲸大数据项目





客户简介:

云鲸创立于2016年,是一家立足家用机器人领域,致力于研发革命性科技产品的公司。作为一家机器人创新企业,云鲸横跨了SLAM、三维感知、AI物体识别、机器人结构技术、大数据应用等多个领域。

目前已在多个方向取得突破,已累计申请了专利400多篇技术专利。团队历经3年研发出可自清洁拖布的拖扫一体机器人“小白鲸”获美国《时代》杂志2020年最佳发明、爱迪生发明金奖等国内外大奖。

面临的挑战:

全球化的视野和本地化的运营能力,是企业成功走出去的重要因素。而云计算为数字经济提供技术底座支撑,已经成为企业实现“全球化思考、本地化运营” 的重要技术手段。

云鲸布局海外业务,面向全球市场,需要满足不同区域的合规要求,同时实现核心业务的统一运维和管理。另一方面,云鲸一直采用”用户至上“的理念开发产品,因此如何利用数据分析、人工智能打造智能产品的增值服务、为各地区提供本地化和个性化的服务体验成为了首要考虑的问题。

解决方案:

经过与亚马逊云科技以及博思云为专业技术人员的深入沟通,云鲸采用IOT、EKS、MSK、EMR等亚马逊云托管服务,对电商运营、APP埋点、扫地机器人采集等数据,进行实时\离线数据采集与分析。

此方案中主要借助于亚马逊云科技提供的EMR服务,可以为机器学习、科学模拟、数据挖掘、日志文件分析和数据仓库等应用场景提供处理和分析数据。在实时\离线时,云鲸通过EMR已预先内置的大数据生态组件Hadoop、Hive、Spark、Hue、Flink等,进行业务数据的实时\离线处理,并与其他亚马逊云科技数据存储服务(例如Amazon S3和Amazon RDS等)中的数据进行交互;可按照业务的高/低峰值对计算资源进行弹性扩展伸缩,以满足业务大批量计算任务的需要,以尽可能低的成本保证稳定、可预测的性能。

架构图:

方案优势:

1、通过托管集群平台,方案简化了大数据整体运行框架,并可根据业务峰值进行计算资源弹性伸缩,以处理和分析海量数据。

2、该方案通过S3数据湖,可处理不同数据和分析方法所需的规模性、敏捷性和灵活性;同时实现计算和存储分离,做到一份数据多种计算引擎,以满足离线、实时业务,实现更快查询结果及较低存储成本;

3、使用托管EMR、MSK等服务,提供更好的安全性、可用性,更具弹性,以提升整体运维效率。