Minio进阶 - Minio断点续传和断点下载实现方案
2022年12月24日
Minio进阶 - Minio断点续传和断点下载实现方案
1. 前言
在之前，我们实现了常用的上传下载、分片上传、秒传等功能，实际一个文件存储管理系统，这些远远还是不够的，比如断点续传。
可以参考阿里的文档，是怎么实现这些功能的。
2. 断点续传
2.1 概念
通过断点续传上传的方式将文件上传到OSS前，您可以指定断点记录点。上传过程中，如果出现网络异常或程序崩溃导致文件上传失败时，将从断点记录处继续上传未上传完成的部分。
2.2 方案
要实现断点续传，需要依赖于MD5秒传和分片上传。之前我们分片上传的简单流程如下图所示，我们可以在这个流程中加入断点续传。 
2.2.1 文件状态查询
首先上传文件之前，除了创建分片请求之外、获取uploadId之外，还需要在根据文件的MD5去查询该数据的状态，比如是已上传过、上传了一部分、上传完成、上传失败等。
如果该文件已上传过则直接返回访问链接。
2.2.2 查询已上传分片信息
如果是上传失败，则查询根据该文件uploadId 查询已上传的分片信息，Minio 是支持这种查询的，比如下图中就可查到分片的相关信息： 
2.2.3. 继续上传
对于已上传的分片，获取链接时，直接返回该分片已上传，前端根据状态去判断跳过该分片上传，执行未上传分片的请求，这样就能做到断点续传了。
3. 断点下载
当下载大文件时，如果网络不稳定或者程序异常退出，会导致下载失败，甚至重试多次仍无法完成下载。
为此，OSS需要提供了断点续传下载功能。断点续传下载将需要下载的文件分成若干个分片分别下载，所有分片都下载完成后，将所有分片合并成完整的文件。
在Minio中的java SDK 中是提供了对象数据查询的API，可以查看到对象的数据大小信息。
知道文件大小之后，我们就可以进行切片，比如100M的大小，按照5M进行切分为20片，计算出每一片的起始位置和长度，Minio 获取文件的API 是支持分段获取流的。
在实现了上述的分片下载后，就可以实现断点下载了，原理和上传一样，如下图所示：
参考文章
Powered by Waline v2.9.1