访问 OSS 这类对象存储最快的方式- JindoFS SDK
拜访 OSS 这类目标存储最快的方式- JindoFS SDK
内容介绍:
• 大数据存储架构演进
• JindoFS
• JindoFS SDK
• JindoFS 功能
一、大数据存储架构演进
数据湖存储方案(JindoFS SDK + 目标存储)
成本:(1)储存成本低,分层存储结合运用
(2) 运维投入少
功能:(1)海量文件下的高效元数据功能
(2)存储的读写吞吐能力
数据湖特性:(1)事务写入,多版本Checksum
(3) Jindo Table 数仓结合:Spark SQL/Hive/Presto/Impala
安全:(1)多种免密认证
(2)客户端/服务端加密
2、JindoFS
JindoFS 双形式
• 既是一个分布式缓存系统,为核算加快和提供优化(缓存/cache 形式)
• 也是一个分布式存储系统,支撑高牢靠高可用和安全(存储/block 形式)
形式 |
Block 形式 |
Cache 形式 |
支撑目标存储 |
OSS |
OSS/S3 其他云厂商目标存储 |
集群缓存加快 |
支撑 |
支撑 |
元数据协议 |
JindoFS协议 |
OSS/S3原生拜访 |
元数据拜访加快 |
支撑 |
支撑 |
免密拜访 |
是 |
是 |
Ranger权限 |
是 |
是 |
类比方案 |
HDFS |
Alluxio |
JindoFS 客户端 Native 架构
• 全链路 Native
• 一套底层适配多个场景
3、JindoFS SDK
HCFS 规范
Filesystem Compatibility with Apache Hadoop
JindoFS SDK 拜访 OSS
4、JindoFS SDK 优势
高功能
• Native Object Engine 根底操作功能均匀提高 2.2 倍
• Jindo HCFS 对比开源版本功能大幅提高
易集成
• 不引进额外 Java 依靠,防止出产环境出现依靠冲突
• 社区形式:文档完善+在线支撑
高牢靠
• 大量客户 Hadoop 出产环境部署运用
• 对接引擎丰厚
Jindo Native Object SDK vs OSS Java SDK
Jindo OSS Hadoop SDK vs Hadoop 现有OSS SDK