Article / 文章中心

访问 OSS 这类对象存储最快的方式- JindoFS SDK

发布时间:2022-02-10 点击数:433

拜访 OSS 这类目标存储最快的方式- JindoFS SDK

内容介绍:

• 大数据存储架构演进

• JindoFS

• JindoFS SDK

• JindoFS 功能


一、大数据存储架构演进

数据湖存储方案(JindoFS SDK + 目标存储)

成本:(1)储存成本低,分层存储结合运用

(2) 运维投入少

功能:(1)海量文件下的高效元数据功能

(2)存储的读写吞吐能力

数据湖特性:(1)事务写入,多版本Checksum

(3) Jindo Table  数仓结合:Spark SQL/Hive/Presto/Impala

安全:(1)多种免密认证

(2)客户端/服务端加密


2、JindoFS

JindoFS  双形式

• 既是一个分布式缓存系统,为核算加快和提供优化(缓存/cache 形式)

• 也是一个分布式存储系统,支撑高牢靠高可用和安全(存储/block 形式)


形式

Block 形式

Cache 形式

支撑目标存储

OSS

OSS/S其他云厂商目标存储

集群缓存加快

支撑

支撑

元数据协议

JindoFS协议

OSS/S3原生拜访

元数据拜访加快

支撑

支撑

免密拜访

Ranger权限

类比方案

HDFS

Alluxio


JindoFS  客户端 Native  架构

• 全链路 Native

• 一套底层适配多个场景

图片30.png


3、JindoFS SDK

HCFS 规范

Filesystem Compatibility with Apache Hadoop

JindoFS SDK 拜访 OSS

图片31.png


4、JindoFS SDK 优势

高功能

• Native Object Engine 根底操作功能均匀提高 2.2 倍

• Jindo HCFS  对比开源版本功能大幅提高

易集成

• 不引进额外 Java 依靠,防止出产环境出现依靠冲突

• 社区形式:文档完善+在线支撑

高牢靠

• 大量客户 Hadoop  出产环境部署运用

• 对接引擎丰厚


Jindo Native Object SDK vs OSS Java SDK

图片32.png

Jindo OSS Hadoop SDK vs Hadoop 现有OSS SDK

图片33.png