极目农业无人机数据分析平台

客户简介:

极目智能是一家专注于智能驾驶技术研发与应用的人工智能企业,致力于通过全球领先的计算机视觉技术助力智能驾驶的发展和普及。

目前,极目智能不仅在前装领域与多家车厂建立合作关系,打造未来的智能驾驶和交通方式,还针对物流车队、营运车险、智慧公交等推出了基于ADAS主动安全的行业解决方案。

问题描述:

在极目负责的农业图像识别项目中,通过无人机收集图像数据,然而由于实现需求所需要的数据众多。无人机收集到的数据如何高速传输,高效ETL,以及低成本存储是极目首先要解决的问题。其次,面对众多的结构化/非架构化数据,极目如何在快速分析的同时最小化运维成本,这也成为了他们的难点。

方案描述:

在亚马逊云科技上构建完整的大数据分析体系,可以采用HIVE+Spark+HDFS的架构使用EC2自建或采用由亚马逊云科技提供的Elastic MapReduce(EMR)+Simple Storage Service+RedShift架构来完成大数据分析的目标。对于HIVE与Spark的自建架构,博思云为不推荐使用,自建架构是为初级的云计算服务使用方式,抛弃了很多云上的优势。

对此,博思云为建议客户采用AmazonService完成整个大数据架构。在基于亚马逊云科技的大数据方案中,我们采用了亚马逊云科技提供的EMR服务,EMR服务可以简单理解为托管的Hadoop集群,其中包含了MapReduce与HDFS等运算存储集群。基于EMR,我们帮助客户加工与处理结构化与非结构化业务数据、按照客户的需求,分析与开发出数据业务特征处理算法,对结构化与非结构化的数据进行清洗(去重、去残缺、去错误、一致性检查)、脱敏(条目混淆、加密)、数据格式转换(字段类型调整、表数据拆分/合并、数据粒度转换)等。

最终将已完成转换的有效数据以适合于数据仓库加载的格式(例如:CSV)导出并转存在S3存储中,并通过加载工具将有效数据集导入至Redshift数据仓库,作为后续企业BI、AI等业务的数据来源。对于安全与资源管理方面,博思除采用IAM之外,还会集成一套自有资源与权限管理系统,可实现单点登陆SSO,日志审计等方式确保账户与访问,安全避免资源使用混淆、资源盗用等风险。

应用场景:

对于所有希望新建大数据分析平台的用户来说,云是原生的适合于大数据分析的。大数据分析的使用场景中,每次运算都需要大量的计算资源,但是在分析完成后资源将处于闲置状态,我们的大数据方案基于亚马逊云科技,使用托管的EMR服务运算分析,随时可以启动/删除集群,最大程度的节省了使用成本。

对于希望上云的客户而言,无论在本地使用的是怎样的架构方案,博思都将帮助客户完成整体的结构改造与迁移,更好的适应云,节省大量的基础环境与软件维护工作,使客户能将更多的精力集中在业务相关的数据分析中。

使用到的服务:

方案优势:

基于亚马逊云科技的大数据方案里,采用托管的EMR与S3存储、RedShift服务等,能够节省大量的基础环境搭建与维护工作,同时无需担心软件与硬件的性能能力,所有的服务都以自动伸缩式集群的方案提供极其巨大的负载能力,以保证能够满足用户所有的性能需求。

基于亚马逊云科技,所有的计算资源与存储资源都可以即开即用,避免了一切不必要的资源闲置与浪费,能够最大程度的节省成本费用,除此之外,博思云自研出一套对EMR+S3的安全与资源管理系统,可以实现统一身份认证,日志审计,资源与权限分配,以及集成CD/CI的能力。

最终架构图: