文件存储迁移
背景信息
本文介绍由文件系统 (CFS、PFS)迁移到 文件系统 (CFS、PFS) 的操作教程。百度智能云数据流转平台是百度智能云提供的存储产品数据迁移服务。使用该服务,您可以将文件存储数据轻松迁移至另一文件系统中。 使用数据流转平台 CloudFlow,您只需在控制台填写源数据地址和目标地址信息,并创建迁移任务即可。启动迁移后,您可以通过控制台管理迁移任务,查看迁移进度等信息;也可以查看迁移失败文件列表,并中断、删除、恢复迁移任务等。
准备工作
开始迁移前,您需要在百度智能云 文件系统、云主机BCC、私有网络或专线中做一些准备工作。
百度智能云文件系统准备
预估迁移数据
预估需要迁移的数据,包括迁移存储量和迁移文件个数。您可以登录文件存储CFS、并行文件存储PFS 控制台,查看待迁移存储空间的存储量和文件数量。
说明: 迁移任务的迁移时间取决于待迁移文件数量和文件容量。CloudFlow 会自适应您的迁移带宽性能,但若文件数量和容量较大,迁移时间可能较长。您可以在控制台查看迁移进程,若有迁移失败的文件,您可以导出失败文件并重传。
挂载文件存储系统
在确定迁移源、目的地址后,您需要将源、目的地址挂载在agent所在机器上。
说明: 并行文件存储的挂载会对云主机内核版本有要求,详情见挂载服务。您填写的待迁移源地址不能包含agent所在路径
云主机BCC准备
部署agent
创建云主机BCC并部署agent,详情见部署agent。
说明: 目前仅支持同时启动的1个agent。若同时启动多个cloudflow半托管任务,则需要在agent配置文件中写入cloudflow任务id来确保正常运行。
私有网络或专线
若您的迁移任务涉及跨地域、VPC或跨云迁移,详情见 对等连接 或 专线。若您所需要迁移的两个文件系统位于同一VPC下,则不需要配置对等连接或专线。详细设置可参考跨地域或账号使用文件存储
迁移实施
登录数据流转平台
1.登录数据流转平台CloudFlow
2.登录数据流转平台CloudFlow
进入控制台后,单击【新建迁移任务】,进入任务配置页面,进行迁移参数的设置。
任务设置
您需要对迁移任务的名称和迁移启动时间进行设置。
配置项 | 配置描述 |
---|---|
迁移任务名称 |
|
开始迁移时间 |
|
源端设置
您需要迁移源端信息进行设置。
配置项 | 配置描述 |
---|---|
数据源端 |
|
待迁移路径 |
|
目的端设置
您需要迁移目的端信息进行设置。
配置项 | 配置描述 |
---|---|
目的端设置 |
|
目的端路径 |
|
地域 |
|
迁移模式设置
您需要根据迁移需求选择合适的迁移模式,CloudFlow 目前仅支持半托管迁移文件系统。关于迁移模式的介绍,请查看全托管迁移和半托管迁移介绍。
配置项 | 配置描述 |
---|---|
迁移模式 |
|
查看迁移状态和进度
在数据流转平台 CloudFlow 控制台,您可以查看所有迁移任务的状态和进度。
迁移状态
- 待迁移:若用户指定时间发起数据迁移,任务状态为待迁移;
- 任务完成有失败文件:任务完成,但部分文件迁移成功,部分失败。您可以在列表中查看迁移成功和失败的数量,并导出失败文件列表;
- 任务成功:任务完成,且文件全部迁移成功;
- 任务暂停:中途主动暂停迁移任务;
- 任务失败:计划迁移的文件全部迁移失败,0个文件迁移成功,您需要排查迁移失败的原因。
说明: 由于迁移任务时间可能较长,列表中迁移成功和失败的文件数量将会每 30 秒更新一次。若数字暂停,请耐心等待。
相关操作
- 查看详情:点击后查看任务配置详情和任务传输详情;
- 导出失败文件列表:点击后可以下载当前的迁移失败文件;
- 删除任务:任务完成后讲不需要的任务删除。任务删除后不影响已经迁移的文件;
- 暂停任务:当任务处于"迁移中"或者"待迁移"状态时将迁移任务暂停,适合迁移配置错误或不希望继续迁移的场景,以便及时阻止任务。点击暂停任务后,该按钮变为"恢复任务",点击后可断点重传。