分布式文件存储FastDFS之基础知识篇

目录

一、分布式文件系统

二、FastDFS简介

三、FastDFS整体架构

四、文件上传流程 

五、文件下载流程

六、文件删除流程

七、文件同步机制

八、总结


一、分布式文件系统

分布式文件系统 (Distributed File System) 是一个软件/软件服务器,这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上,而是在多个服务器节点上,这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群,这些服务器都用于存储文件资源,通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有:FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。

二、FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统,为互联网应用量身定做,简单,灵活,高效,采用C语言开发,由阿里巴巴开发并开源。

FastDFS主要对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS充分考虑了冗余备份、线性扩容等机制,并注重高可用,高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS的GitHub地址:https://github.com/happyfish100/fastdfs

FastDFS由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。

传统的文件存储:

缺点:

  • 1. 所有的文件都存放在一台机器上,如果发生宕机,那么文件服务直接不可用;
  • 2. 如果该服务器磁盘发生损坏,那么可能会出现文件丢失的情况;
  • 3. 一台服务器的容量有限,很容易达到磁盘上限,导致文件不能上传;

分布式文件存储:

优点:

  1. 解决了传统方式的单点故障问题;
  2. 如果某个节点发生故障,还有其他节点可以用来读取和写入文件;
  3. 可以提供数据备份,避免因为磁盘损坏导致的文件丢失;
  4. 可以提供扩容机制,无限增加文件存放的空间上限;

三、FastDFS整体架构

FastDFS文件系统由两大部分构成,一个是客户端,一个是服务端。

客户端通常指我们的程序,比如我们的Java程序去连接FastDFS、操作FastDFS,那我们的Java程序就是一个客户端,FastDFS提供专有API访问,目前提供了C、Java和PHP几种编程语言的API,用来访问FastDFS文件系统。

服务端由两个部分构成:一个是跟踪服务器(Tracker server),一个是存储服务器(Storage server)。客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。

  •   Tracker server作用:负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务,Tracker Server负责管理所有的storage server和group,每个storage在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。多个Tracker之间是对等关系,不存在单点故障。
  •   Storage server作用:文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。Storage Server可以分为多个group组( 卷1、卷2、卷n ),每个组之间保存的文件是不同的。每个组内部可以有多个成员,组成员内部保存的内容是一样的,组成员的地位是一致的,没有主从的概念。

一个完整的集群版FastDFS架构组成大体如下图:

四、文件上传流程 

大体流程图如下所示:

  • 1、定时向TrackerServer发送状态信息,保持周期性心跳;
  • 2、客户端发起上传文件请求;
  • 3、Tracker Server查询当前可用的Storage Server;
  • 4、返回一个Storage Server所在的服务器的IP地址和端口号;
  • 5、Client客户端根据IP和端口号找到对应的Storage Server进行上传;
  • 6、保存客户端上传的文件信息,返回group组名和远程文件路径信息;
  • 7、Storage Server返回file_id给客户端;
  • 8、客户端将文件file_id保存到数据库中;

五、文件下载流程

大体流程图如下所示:

  • 1、定时向TrackerServer发送状态信息,保持周期性心跳;
  • 2、客户端发起下载文件请求;
  • 3、Tracker Server查询当前可用的Storage Server;
  • 4、返回一个Storage Server所在的服务器的IP地址和端口号;
  • 5、Client客户端拿着file_id(组名、远程文件路径、文件名)去目标Storage Server中请求查找文件;
  • 6、Storage Server查找文件信息;
  • 7、Storage Server返回文件信息给客户端;
  • 8、客户端将文件转换为流输出到浏览器进行下载;

六、文件删除流程

大体流程图如下所示:

  • 1、定时向TrackerServer发送状态信息,保持周期性心跳;
  • 2、客户端发起文件删除请求;
  • 3、Tracker Server查询当前可用的Storage Server;
  • 4、返回一个Storage Server所在的服务器的IP地址和端口号;
  • 5、Client客户端拿着file_id(组名、远程文件路径、文件名)去目标Storage Server中请求删除文件;
  • 6、Storage Server根据参数删除对应的文件信息;
  • 7、Storage Server返回是否删除成功信息  0:表示删除成功 2:表示文件不存在  其他:文件删除失败;

七、文件同步机制

(1)、同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;

(2)、文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;

(3)、源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;

(4)、上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。

八、总结

本篇文章主要对现在比较流行的分布式文件存储FastDFS进行了介绍,并分析了FastDFS整体架构以及文件上传、下载、删除的流程。下一篇文章我们总结如何搭建一个FastDFS分布式文件存储环境。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值