FastDFS高性能分布式文件系统安装手册

FastDFS是一个开源的高性能分布式文件系统。

其主要功能包括:文件存储、文件同步和文件访问(文件上传和文件下载),解决了大容量和负载均衡问题。FastDFS应满足基于照片分享网站、视频分享网站等文件的网站的服务要求。

简介

FastDFS是一个开源的高性能分布式文件系统

其主要功能包括:文件存储、文件同步和文件访问(文件上传和文件下载),解决了大容量和负载均衡问题。FastDFS应满足基于照片分享网站、视频分享网站等文件的网站的服务要求。

环境准备

服务IP地址系统
Tracker Server 跟踪器192.168.10.130Centos7.x
Storage Server1 存储节点192.168.10.141Centos7.x
Storage Server2 存储节点192.168.10.142Centos7.x

下载地址

https://github.com/happyfish100/FastDFS

说明

名称说明
LibfatscommonFastDFS分离出的一些公用函数包
FastDFSFastDFS分布式文件系统
Fastdfs-nginx-moduleFastDFS和nginx的关联模块
Nginxnginx1.15.4

编译环境

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y
yum -y install net-tools #使用netstat查看端口需要

如果服务器未联网状态需要手动下载缺少的环境包并进行安装

路径

说明位置
所有安装包/dfs/soft
tracker服务器数据存储位置/dfs/tracker
storage服务器数据存储位置/dfs/storage
mkdir /dfs/tracker #创建数据存储目录(tracker服务器)
mkdir /dfs/storage #创建数据存储目录(storage服务器)

安装libfastcommon(tracker安装和storage安装)

cd /dfs/soft #切换到安装目录准备下载安装包
git clone https://github.com/happyfish100/libfastcommon.git --depth 1
#如果服务器未联网,需要手动下载libfastcommon的安装包,并且解压后进入libfastcommon目录,手动./make.sh && ./make.sh install
cd libfastcommon/
./make.sh && ./make.sh install #编译安装

安装FastDFS(tracker安装和storage安装)

cd /dfs/soft #切换到安装目录准备下载安装包
git clone https://github.com/happyfish100/fastdfs.git --depth 1
#如果服务器未联网需要手动下载FastDfs的安装包,解压后进入fastdfs目录中,并手动./make.sh && ./make.sh install
cd fastdfs/
./make.sh && ./make.sh install #编译安装
#配置文件准备
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf #tracker配置文件(tracker服务器使用)
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf #storage配置文件(storage服务器使用)
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件,测试用
cp /dfs/soft/Fastdfs/conf/http.conf /etc/fdfs/ #/dfs/soft/Fastdfs为fastdfs安装路径,这里是我的安装路径,请以自己的实际安装路径为准
cp /dfs/soft/Fastdfs/conf/mime.types /etc/fdfs/ #/dfs/soft/Fastdfs为fastdfs安装路径,这里是我的安装路径,请以自己的实际安装路径为准

安装fastdfs-nginx-module(storage服务器安装)

cd /dfs/soft #切换到安装目录准备下载安装包
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
#如果服务器未连接互联网,需要手动下载fastdfs-nginx-module包,并解压
#此处的fastdfs-nginx-module包需要注意版本
cp /dfs/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs # /dfs/soft/fastdfs-nginx-module为解压目录,这里是我的目录,实际请以自己的为准

安装Nginx(storage服务器安装)

cd /dfs/soft #切换到安装目录准备下载安装包
wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包
#如果服务器未连接互联网,需要手动下载nginx包,并解压
tar -zxvf nginx-1.15.4.tar.gz #解压
cd nginx-1.15.4/
#添加fastdfs-nginx-module模块(prefix指定一个自己的nginx目录,add-module指定对应的fastdfs-nginx-module目录)
./configure --prefix=/dfs/soft/nginx --add-module=/dfs/soft/fastdfs-nginx-module/src/ #/dfs/soft/fastdfs-nginx-module这里是我自己的目录,实际请以自己的为准
make && make install #编译安装

单机部署

集群部署

Tracker配置

vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122  # tracker服务器端口(默认22122,一般不修改)
base_path=/dfs/tracker  # 存储tracker日志和数据的根目录
store_group=group1 #设置组名
http.server_port = 8080 #tracker HTTP服务端口

修改防火墙,开放22122端口和8080端口(iptables或firewall,此处以firewall为例)

# 开放端口
firewall-cmd --permanent --add-port=22122/tcp
firewall-cmd --permanent --add-port=8080/tcp
#重启防火墙(修改配置后要重启防火墙)
firewall-cmd --reload
# 查询端口是否开放
firewall-cmd --query-port=22122/tcp
firewall-cmd --query-port=8080/tcp

启动Tracker

/etc/init.d/fdfs_trackerd start #启动tracker服务
/etc/init.d/fdfs_trackerd restart #重启动tracker服务
/etc/init.d/fdfs_trackerd stop #停止tracker服务
chkconfig fdfs_trackerd on #自启动tracker服务

Storage配置

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000  # storage服务端口(默认23000,一般不修改)
base_path=/dfs/storage  # 数据和日志文件存储根目录
store_path0=/dfs/storage  # 第一个存储目录
tracker_server=192.168.10.130:22122  # tracker服务器1
#tracker_server=192.168.10.131:22122  # tracker服务器2
#tracker_server=192.168.10.132:22122  # tracker服务器3
http.server_port=8888  # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

修改防火墙,开放23000端口和8888端口(iptables或firewall,此处以firewall为例)

# 开放端口
firewall-cmd --permanent --add-port=23000/tcp
firewall-cmd --permanent --add-port=8888/tcp
#重启防火墙(修改配置后要重启防火墙)
firewall-cmd --reload
# 查询端口是否开放
firewall-cmd --query-port=23000/tcp
firewall-cmd --query-port=8888/tcp

启动Storage

/etc/init.d/fdfs_storaged start #启动storage服务
/etc/init.d/fdfs_storaged restart #重动storage服务
/etc/init.d/fdfs_storaged stop #停止动storage服务
chkconfig fdfs_storaged on #自启动storage服务

Client测试(storage服务器)

修改client.conf配置文件

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/dfs/tracker #tracker服务器
tracker_server=192.168.10.130:22122  # tracker服务器1
#tracker_server=192.168.10.131:22122  # tracker服务器2
#tracker_server=192.168.10.132:22122  # tracker服务器3
http.tracker_server_port=8080 #修改端口

测试

#保存后测试,返回ID表示成功 如:group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /dfs/BLEACH.jpg

配置Nginx使可以通过HTTP访问

修改nginx-module

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=192.168.10.130:22122  # 服务器1
#tracker_server=192.168.10.131:22122  # 服务器2
#tracker_server=192.168.10.132:22122  # 服务器3
url_have_group_name=true #访问路径中携带组名,如group1
store_path0=/dfs/storage #storage地址

修改nginx

#配置nginx.config
vim /dfs/soft/nginx/conf/nginx.conf #/dfs/soft为上面添加nginx模块的时候指定的--prefix地址
#添加如下配置
server {
    listen       8888;    ## 该端口为storage.conf中的http.server_port相同
    server_name  localhost;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}

启动Nginx

/dfs/soft/nginx/sbin/nginx #启动nginx
/dfs/soft/nginx/sbin/nginx -s reload #重启nginx
/dfs/soft/nginx/sbin/nginx -s stop #停止nginx
#/dfs/soft为上面添加nginx模块的时候指定的--prefix地址

测试http://192.168.10.141:8888/group1/M00/00/00/wKgKhV6k76eAZAdDAANi9E9uQJc047.jpghttp://192.168.10.142:8888/group1/M00/00/00/wKgKhV6k76eAZAdDAANi9E9uQJc047.jpg

检测集群

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息
#ACTIVE 为启动状态  

可能遇到的问题

1.如果不是root 用户 你必须在除了cd的命令之外 全部加sudo

2.如果不是root 用户 编译和安装分开进行 先编译再安装

3.如果上传成功 但是nginx报错404先检查mod_fastdfs.conf文件中的store_path0是否一致

4.如果nginx无法访问 先检查防火墙 和mod_fastdfs.conf文件tracker_server是否一致

5.如果不是在/usr/local/src文件夹下安装 可能会编译出错

6.如果 unknown directive “ngx_fastdfs_module” in /usr/local/nginx/conf/nginx.conf:151,可能是nginx一直是启动的,必须要重启nginx才可以,nginx -s reload无效。

7.如果遇到storage状态是WAIT_SYNC状态就把storage从集群中删除,然后在重新启动storage服务,使用如下命令,如果一次不成功,多试几次

#关闭storage服务
/usr/init.d/fdfs_storage stop
#删除192.xx.xxx.151这台服务器上的storage 
/usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.xx.xxx.141
#启动storage服务
/usr/init.d/fdfs_storage start

版权声明:本文为作者原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原创文章,作者:老C,如若转载,请注明出处:https://www.code404.icu/138.html

发表评论

登录后才能评论