不锈钢单筒厂家
免费服务热线

Free service

hotline

010-00000000
不锈钢单筒厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

阿里云MaxCompute Spark功能特性架构详解

发布时间:2019-05-19 14:44:49 阅读: 来源:不锈钢单筒厂家

阿里云MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景,阿里云百科网分享:

MaxCompute Spark关键特性

支持原生多版本Spark作业

社区原生Spark运行在MaxCompute里面,完全兼容Spark的API,支持多Spark版本同时运行。

提供原生的Spark WebUI供用户查看。

统一的计算资源

MaxCompute Spark像MaxCompute SQL/MR等任务类型一样,运行在MaxCompute项目开通的统一计算资源中。

统一的数据和权限管理。

完全遵循MaxCompute项目的权限体系,在访问用户权限范围内安全地查询数据。

与开源系统相同的使用体验。

MaxCompute Spark会和开源保持相同的体验和用户使用习惯,比如开源应用的UI,在线交互等。开源UI对于开源应用的调试至关重要,MaxCompute Spark提供原生的开源实时UI,并且能查询历史日志。某些开源应用提供交互式,也就是把后台引擎拉起后,进行实时交互。

系统结构

MaxCompute Spark是阿里云通过Spark on MaxCompute的解决方案,让原生Spark能够运行在MaxCompute当中。该服务的架构图如下:

左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台能够原生支持开源社区Yarn支持的计算框架,如Spark等。

官方文档

代金券:MaxCompute Spark概述

阿里云代金券