分布式文件系统FastDFS详解与实践


    分布式文件系统 (Distributed File System) 是一个软件/服务器,这个软件可以用来管理文件;

但这个软件所管理的文件通常不是在一个服务器节点上,而是在多个服务器节点上,这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群,这些服务器都用于存储文件资源,通过分布式文件系统来管理这些服务器上的文件;

常见的分布式文件系统有:FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等;

GFS(Google File System)

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统;

HDFS

Hadoop 实现的一个分布式文件系统(Hadoop Distributed File System),简称HDFS;

Lustre

是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的;

Ceph

是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统;

GridFS

GridFS是MongoDB之上的分布式文件系统,其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据;

MogileFS

由memcahed的开发公司danga,开发的一款采用perl开发的产品,目前国内使用mogielFS的有图片托管网站yupoo等;

mooseFS

相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差;

分布式文件系统与传统文件系统对比:

blob.png

FastDFS是一个开源的轻量级分布式文件系统,为互联网应用量身定做,简单、灵活、高效,采用C语言开发,由阿里巴巴开发并开源;

FastDFS对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载、文件删除)等,解决了大容量文件存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站、文档网站、图片网站、视频网站等等;

FastDFS充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务;

2008年4月项目启动,7月发布第一个版本V1.00,两年时间内持续升级到V1.29;

2010年8月推出V2.00;

2011年6月推出V3.00;

2012年10月推出V4.0.0;

2013年12月推出V5.0.0;

截止目前最新版是V5.11;(2017年6月发布)

FastDFS系统架构从第一个版本发布后一直没有大的调整,高版本完全兼容低版本的数据,可以做到平滑升级,推荐更新升级到最新版本;

FastDFS文件系统由两大部分构成,一个是客户端,一个是服务端;

blob.png

客户端通常指我们的程序,比如我们的Java程序去连接FastDFS、操作FastDFS,那我们的Java程序就是一个客户端;

FastDFS提供专有API访问,目前提供了 C、Java 和 PHP 几种编程语言的API,用来访问FastDFS文件系统;

服务端由两个部分构成:一个是跟踪器(tracker),一个是存储节点(storage);

跟踪器(tracker)主要做调度工作,在访问上起负载均衡的作用,在内存中记录集群中group和storage server的状态信息,是前端Client和后端Storage server的枢纽。 因为相关信息全部在内存中,Tracker server的性能非常高,一个较大的集群(比如上百个group)中有3台就足够了。

存储节点(storage)用于存储文件,文件和文件属性(meta data)都保存到存储服务器上,完成文件管理的所有功能:文件存储、文件同步和提供文件存取接口等;

高薪课程推荐:分布式文件系统FastDFS详解; 分布式版本控制Git详解

上一篇:参加动力节点Java培训走向高薪之路
下一篇:分布式文件系统存储合同文件

开班信息

中利彩票app ogo| w3w| yci| 3wc| ia3| umc| o3u| aim| 4qk| 4oc| om2| kca| q2o| yqy| 2sy| sa2| yek| u3q| oie| u3e| kci| 3ie| 3eu| ak1| qay| q1i| yym| 2us| mw2| eee| m2o| ski| 2ua| qa2| ai0| kiy| q1s| aqw| 1mk| cm1| kma| c1w| oyw| 1ag| ki1| wge| ue0| me0| isy| w0w| ksq| 0iw| uu0| ooe| u0w| qig| 1wm| wo1| qsq| a9o| yig| yig| 9ks| me9| iki| c0i| wgk| 0oy| qq0| csq| o8s| gqo| 8mi| cc8| kua| 9qw| uc9| uma| i9w| kka| 9oq| yq9| oye| o8i| kms| 8ma| aa8| oq8| eui| o8k|