Article / 文章中心

如何将数据迁移到阿里云OSS?

发布时间:2018-04-03 点击数:1847

用户希望将历史数据迁移到用户在OSS的某个目标Bucket上。其中,需要迁移的源数据可能来自于OSS的某个Bucket,也可能来自于本地、第三方云存储(如AWS S3、Azure Blob、腾讯云COS、七牛、百度BOS、又拍云、金山KS3等)、HTTP等。

•主要方法

  • OssImport
    使用Ossimport工具进行迁移,适用于各类数据源的历史数据,批量迁移到OSS,请参考OssImport文档

  • 镜像回源
    适用于客户源站无缝迁移数据到OSS。即服务已经在自己建立的源站或者在其他云产品上运行,需要迁移到OSS上,但是又不能停止服务,此时可利用镜像回源功能实现。在Ossimport完成历史数据迁移后,将新产生的数据迁移过程,请参考镜像回源无缝迁移到OSS

  • OSS跨区域复制
    适用于同一账户下,从OSS Bucket A将数据复制到Bucket B,请参考设置跨区域复制。在使用时,需注意设置“同步历史数据”。此外,如果不希望同步BucketA的删除操作,可将同步策略设置为“写同步”。

  • 闪电立方
    适用于线下数据中心大规模数据迁移上云,支持TB到PB级别大规模数据上云。具体参考官网产品介绍闪电立方

  • OSS API或SDK
    使用OSS API或SDK编写代码实现,适用于开发能力较强的客户,请参考Copy ObjectUpload Part Copy

•场景1:将非OSS上的数据迁移到OSS中

在此场景中,迁往目的地是OSS上的Bucket,而源数据不是存储在OSS上,比如在本地、HTTP、第三方云存储(如AWS S3、Azure Blob等)。

各方法的选择如下:

  • OssImport
    适用于历史数据批量迁移到OSS,特别适合数据量比较大的情况。数据量大时,使用ossimport分布式版本。

  • 镜像回源
    适用于源站新的热数据在线迁移到OSS,如满足您对于数据热迁移、特定请求重定向等需求。

  • 闪电立方
    适用于用户本地数据中心,TB到PB级别大规模数据上云

  • OSS API/SDK Copy Object、Upload Part Copy
    适用于有特性需求,使用OSS API/SDK 编写代码上传OSS。

•场景2:OSS之间的数据迁移

此场景是指将OSS源Bucket数据迁移到OSS目标Bucket中。迁移的数据源和迁移目的地都是OSS的Bucket。

各方法的选择如下:

  • OSS跨区域复制

    • 源Bucket和目标Bucket属于同一个用户,且分属不同的区域。
    • 源Bucket、目标Bucket存储类型都不是归档类型:

      说明:如果希望源Bucket历史数据迁移(复制到)目标Bucket后,源Bucket的变更(新增、更新、删除)不再同步到目标Bucket,可以在控制台关闭源Bucket的跨区域复制。

  • OssImport 
    更适合数据量较大(如大于10TB)历史数据迁移场景。

  • OSS API/SDK Copy Object、Upload Part Copy 
    建议优先使用ossImport或跨区域复制,除非用户有更细化或特性的需求,且有一定的开发能力。