文档首页 > > 快速入门> 创建单个迁移任务

创建单个迁移任务

更新时间: 2019/12/14 GMT+08:00

操作场景

使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。

背景信息

对象存储迁移服务支持以下的源端云服务商:

  • 华为云
  • 亚马逊云
  • 阿里云
  • 腾讯云
  • 七牛云
  • 青云
  • 百度云
  • 金山云

迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。

前提条件

  • 已获取源端和目的端的AK/SK。
  • 已在OBS服务中创建桶。
  • 您过去24小时内已创建的迁移任务未满50个。
  • 您名下处于“等待中”状态的迁移任务未满20个。

操作步骤

  1. 登录管理控制台。
  2. 单击管理控制台左上角的,在下拉框中选择区域。
  3. 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。

    进入“对象存储迁移服务”页面。

  4. 单击 “创建迁移任务”

    仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建迁移任务”页面。

  5. 选择源端/目的端。

    1. 选择源端,具体参数如表1所示。
      表1 源端选择参数

      参数

      说明

      云服务提供商

      待迁移的源端云服务提供商。

      appID

      如果源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云帐户的一个标识。

      访问密钥

      源端云服务提供商的访问密钥(AK)。最大长度是100个字符。

      私有访问密钥

      源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

      是否指定桶名

      当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。

      设置说明参见表2

      表2 “是否指定桶名”的设置说明

      如果...

      那么...

      开启“是否指定桶名”

      1. “选择区域”下拉框中选择源端桶所在区域。
      2. “桶名或路径”文本框中输入源端桶名或带桶名的路径。
      3. 单击“连接源端桶”

        对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。

      关闭“是否指定桶名”(默认设置)

      1. 单击“连接源端桶”

        对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。

      2. “桶名”中选择待迁移数据所在的桶。
    2. 选择目的端,具体参数如表3所示。
      表3 目的端选择参数

      参数

      说明

      访问密钥

      华为云的访问密钥(AK)。最大长度是100个字符。

      私有访问密钥

      华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

      输入访问密钥和私有访问密钥后,请单击“连接目的端桶”

      桶名

      存放迁移数据的华为云OBS桶。

  6. 单击“下一步”,设置任务参数。
  7. 选择迁移方式。

    • 选择文件/文件夹
      单击 “选择”,选择待迁移的文件或文件夹后,单击 “确定”。对于已选择的文件或文件夹,您可以单击 从迁移对象列表中删除。
      说明:
      • 如果选择的云服务提供商为七牛,则不支持选择文件/文件夹。
      • 若不设置该参数,则默认迁移全桶数据。
      • 针对每个迁移任务,在同一目录层级下,您最多可以选择500个文件或文件夹。
      • 由于OBS服务的规格限制,请确认对象迁移到目的端后的名称不超过1024个字符,否则将导致任务失败。
    • 指定对象列表
      指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称写入对象列表文件,并将生成的对象列表文件放在华为云OBS桶中,对象存储迁移服务将会迁移指定对象列表文件中的所有对象。
      1. 选择“列表文件所在桶(华为云)”。
        说明:

        此参数中列出的桶是通过5.b中输入的目的端AK/SK得到的桶列表。

        请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。

      2. 在“对象列表文件”区域内单击“选择”,选择用户指定的对象列表文件,单击“确定”
      说明:
      • 对象列表文件大小不能超过100MB。
      • 对象列表文件必须是“.txt”类型的文件。
      • 对象列表文件必须是UTF-8编码格式。
      • 对象列表文件中每行只能包含一个对象名称。
      • 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
      • 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和获取。
    • 输入对象前缀

      在“添加对象数据”区域内输入对象数据名称或者名称前缀,系统会自动匹配出数据。您可以单击,从这些匹配到的迁移数据列表中删除不需要迁移的数据。

      说明:

      若不添加该参数,则默认迁移全桶的数据。

  8. (可选)设置“源端参数”

    当您的源端云服务提供商提供了 表4中首列相应的功能时,才会出现此部分参数。
    表4 源端参数

    参数

    说明

    源端使用自定义域名下载

    当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,且您的源端云服务提供商支持自定义域名时,可以勾选此选项。

    说明:

    当源端云服务提供商是七牛云时,因其对默认域名的使用做了限制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。

    勾选此选项后,进行如下设置:

    1. “自定义域名传输协议”中选择传输协议。
      说明:

      HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。

    2. 填写“桶自定义域名”
    3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择“启用CDN鉴权校验”,并配置校验类型和秘钥。
      说明:

      您需要参见源端云服务提供商的相关资料配置CDN后,才能使用CDN相关功能。

      使用源端CDN产生的费用遵从源端云服务提供商的计费规则,费用由源端云服务提供商向您收取。

    4. 单击“检查”,检查配置是否正确。
      • 如果检查未通过,请单击“详情”查看未通过的原因。
      • 如果检查通过,则可继续进行其他迁移配置。

    解冻归档数据

    归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。

    • 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
    • 不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
    说明:
    • 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。
    • 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。
    • 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。
    • 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
    • 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。

  9. 单击“高级选项”后面“展开”,展开高级选项参数。
  10. (可选)设置高级选项参数。

    表5 高级选项参数

    参数

    说明

    服务端加密

    如果勾选 “KMS”,对迁移数据进行KMS服务端加密后再存储至目的OBS桶中。
    说明:

    使用KMS服务端加密可能会降低迁移速率10%左右。

    当前区域支持KMS加密时,此参数方可用。

    记录失败对象

    选择是否记录迁移失败的对象。

    • 选择“否”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。
    • 选择“是”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。
    说明:

    迁移失败的对象将被记录在一个以任务名称命名的失败对象列表文件中,上传到目的端桶的“oms/failed_object_lists”路径下。该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生时间(参照当前区域所属时区)、失败对象(经过URL编码)。

    当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的端。您如果不再需要该文件,请手动删除。

    迁移指定时间后的对象

    选择是否使用时间过滤源端待迁移对象。

    • 选择“否”,不过滤源端待迁移对象。
    • 选择“是”,仅迁移在指定时间之后修改的源端待迁移对象。需要单击,设置迁移指定时间。

    发送通知

    选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
    • 选择“否”,不接收SMN消息。
    • 选择“是”,接收SMN消息。

      需要执行以下步骤:

      1. 单击“SMN主题”所在行的“添加”,弹出“选择SMN主题”对话框。
      2. 选择接收SMN消息的主题,单击“确定”完成选择。

        如果您所选的SMN主题没有对对象存储迁移服务授权,单击“确定”则会弹出“警告”对话框。如果需要授权,请单击“是”为对象存储迁移服务授权,否则请单击“否”返回“选择SMN主题”页面,选择其他SMN主题。

      1. 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。
      • “迁移成功”表示迁移任务成功时发送SMN消息通知。
      • “迁移失败”表示迁移任务失败时发送SMN消息通知。
      说明:

      如果您无法正常使用SMN消息通知功能,请参见SMN消息通知功能无法正常使用怎么办?

    流量控制

    设置迁移任务在指定时段的最大流量带宽。

    • 选择“否”,不进行流量控制。
    • 选择“是”,进行流量控制。

      需要执行以下步骤:

      1. 单击“新增流量控制”。

        下方新增一条规则记录。

      2. 在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。

        限制最大流量的数值范围:5MB/s ~ 10GB/s。

      3. 重复1~2,增加新的流量控制规则。

        您也可以单击“操作”栏的,删除本行记录。

        说明:

        最多可以创建5条记录。

        即使在创建任务后,您也可以在任务详情中继续设置流量控制规则。

    描述

    输入本次迁移任务的简单描述信息。

    最多可输入255个字符。

  11. 单击“下一步”,进入确认信息页面。
  12. 确认迁移信息的设置,并启动迁移。

    1. 浏览各项迁移参数的设置是否正确。

      如果有误,可以单击“上一步”返回之前的页面进行修改。

    2. 单击“开始迁移”

      提示创建迁移任务成功。查看迁移任务列表已新增该任务。

      关于迁移任务状态,参见 查看迁移任务
      说明:

      任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目的端桶名+时间序列标识拼接而成。

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

在文档使用中是否遇到以下问题







请至少选择或填写一项反馈信息

字符长度不能超过200

反馈内容不能为空!

提交反馈 取消