智能大数据平台USDP——UCloud Smart Data Platform(简称 USDP),是UCloud推出的智能化、轻量级的大数据基础服务平台,通过自研的USDP Manager管理工具,支持用户创建大数据集群,在集群中部署Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger等众多开源大数据组件,并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理,从而帮助您快速构建起大数据的分析处理能力。最近UCloud官方也正式发布了USDP免费版,老刘博客本篇文章主要介绍了USDP产品优势和应用场景以及组件清单,同时附上USDP免费版下载地址及使用手册,供网友们参考。
UCloud智能大数据平台USDP产品页:https://www.ucloud.cn/site/product/usdpdc.html
智能大数据平台USDP产品优势
全面兼容开源生态 基于开放式的管理架构,USDP 集成了 30 余款开源的大数据组件,涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。用户可以根据自身业务特点和需求,从中选择相应的组件来搭建自己的大数据处理平台。
无需担心业务绑定 USDP 中所包含的大数据服务、组件,均遵守 Apache 2.0 开源协议,由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。
傻瓜式部署方式 为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。
全面丰富的监控指标 USDP 预置了丰富的监控指标,主要包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以自定义添加所需的监控指标。
灵活便捷的告警服务 USDP提供预置的告警模板,只需进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群异常告警。用户还可以对默认告警模板进行修改,或根据需要添加新的告警规则。
专业的技术支持 UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的知识库,可以为用户提供专家级的技术支持,解决大数据平台使用和维护的后顾之忧。
智能大数据平台USDP应用场景
数据仓库
目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过 USDP 管理平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。
机器学习
机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过 USDP 支持的Spark、Flink 等分布式运算框架,可以高效的进行机器学习应用开发。
信息检索
从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP 平台集成了分布式搜索和分析引擎 Elasticsearch,能够提供高效的全文检索能力,可用于构建企业级搜索引擎、日志管理系统等。
智能大数据平台USDP组件清单
服务组件 | 版本号 | 私有化免费版 | 公有云版本和私有化专业版 |
INFLUXDB | 1.8.0 | √ | √ |
PROMETHEUS | 2.18.1 | √ | √ |
ALERTMANAGER | 0.21.0 | √ | √ |
GRAFANA | 6.5.1 | √ | √ |
NODEEXPORTER | 1.0.0 | √ | √ |
ELASTICSEARCH | 7.8.0 | √ | √ |
HDFS | 2.8.5 | √ | √ |
HBASE | 1.4.10 | √ | √ |
KAFKA | 1.1.1_2.11 | √ | √ |
ZOOKEEPER | 3.4.13 | √ | √ |
YARN | 2.8.5 | √ | √ |
HIVE | 2.3.6 | √ | √ |
TEZ | 0.9.2 | √ | √ |
PHOENIX | 4.14.3 | √ | √ |
SQOOP | 1.4.7 | √ | √ |
FLUME | 1.9.0 | √ | √ |
SPARK | 2.4.6 | √ | √ |
LIVY | 0.7.8 | √ | √ |
FLINK | 1.10.1 | √ | √ |
RANGER | 1.2.0 | √ | √ |
OOZIE | 5.2.0 | √ | √ |
AIRFLOW | 1.10.12 | √ | √ |
KIBANA | 7.8.0 | √ | √ |
HUE | 4.7.1 | √ | √ |
ZEPPELIN | 0.8.2 | √ | √ |
ZKUI | 2.0.0 | √ | √ |
KAFKAEAGLE | 1.0.0 | √ | √ |
KUDU | 1.10.0 | √ | |
IMPALA | 2.10.0 | √ | |
UDS | 3 | √ | |
ATLAS | 1.2.0 | √ | |
KYLIN | 3.1.0 | √ | |
PRESTO | 0.234 | √ |
智能大数据平台USDP使用手册及下载地址
UCloud智能大数据平台USDP使用手册:https://docs.ucloud.cn/usdpdc/1.0.x/
UCloud智能大数据平台USDP下载地址:https://uclub.ucloud.cn/article/560.html