由于项目需要自定义文件的路径名称,而Fastdfs天生就是不支持自定义名称的,所以只能使用映射的方式来做,找了半天资料,发现余大已经实现了。经过半天的折腾总算是完成了
一简介
• 分布式hash系统,存储Key Value Pair
• 支持两种存储方式
– 缓存方式的MPOOL
– 持久存储方式的BDB
• Key包括三部分:
– Namespace
– ObjectID
– Key
• Key可设置过期时间,自动清除过期数据
• Server端划分group,同group数据互相备份,并且可自动压缩binlog
服务端可使用单线程,多线程模式
• 虚拟farm,便于扩容
• 分布式算法client端实现,不需要中心服务器
• 二进制通信协议,支持Proxy
• 使用libevent,异步IO方式,支持大并发
• 自动failover
• 支持长连接
拷贝自作者的ppt.
二 安装
这里安装使用的机器是Centos5.10 64位
准备安装源码
下载DBD这里使用最新版6.0.30 http://download.oracle.com/berkeley-db/db-6.0.30.tar.gz
下载FastDHT 最新版2.0 同FastDFS5.x版本一样,必不需要依赖libevent了.
http://ftp.jaist.ac.jp/pub/sourceforge/f/fa/fastdht/FastDHT%20server%20and%20php%20ext/FastDHT%20Server%20Source%20Code%20V2.00/FastDHT_v2.00.tar.gz
编译安装DBD
tar xf db-6.0.30.tat.gz
cd db-6.0.30/build_unix
../dist/configure –prefix=/usr
make // DB我这里使编译好好久呢.
make install
安装FastDHT
tar xf FastDHT_v2.00.tar.gz
cd FastDHT
./make.sh clean
./make.sh
./make.sh install
三 配置
首先执行下面的替换掉libdb的so
cp /usr/lib/libdb-6.0.so /lib64/libdb-4.3.so
新建文件夹存放DHT的数据
mkdir –p /data/fs/fdht
修改配置文件
vi /etc/fdht/fdht_servers.config
group0=你自己的IP地址 不能用localhost和127.0.0.1
vi /etc/fdht/fdhtd.conf
base_path=/data/fdht
启动DHT
/usr/local/bin/fdhtd /etc/fdht/fdhtd.conf
执行 netstat –ntlp
看到11411 说明安装成功了
vi /etc/fdhtd/fdht_client.conf
keep_alive=1 --> (本选项关联 storaged.conf文件)
bash_path=/data/fdht
# include /etc/fdhtd/fdht_servers.conf
配置storaged.conf文件
vi storaged.conf (默认位置: /etc/fdfs/storaged.conf)
check_file_duplicate=1
key_namespace=FastDFS
keep_alive=1
# include /etc/fdht/fdht_servers.conf
最后自定义生成ID 需要配合my-fastdfs-client
分享到:
相关推荐
FastDHT是一个基于键值对的高效分布式hash系统, 可以存储文件名和 file_id的映射表 、session数据、用户相关等 ,底层采用erkeley DB做数据库 来持久存储数据 持久存储数据 (也可以使用SSDB),数 据同步方式是使用...
ASP.NET允许通过基于文件系统和数据库表的触发器来作废一个缓存。然而,这也存在问题,比如数据库触发器需要使用昂贵的轮询,以及触发器本身冗长的编程。但是,我们还是有其他的选择的。 不像ASP.NET内置的缓存...
#资源达人分享计划#
简单的介绍了分布式文件系统的基本知识,介绍了ceph、glusterfs和...介绍了分布式文件系统常用的基本技术,如集中式元数据和一致性hash,介绍了数据备份和分块等方法。 分布式文件系统的访问方式,VFS工作原理等。
本 README 描述了如何安装和运行 Fitcrack 分布式密码破解系统。 部署方式有四种: 使用安装程序+(推荐方式) 使用安装程序 +(推荐方式) 使用安装程序 + 手动安装: 对于BOINC 和 Fitcrack 服务器,请参阅 ...
此压缩包里面包含如下安装组件: fastdfs-nginx-module_v1.15.tar.gz libevent-2.0.21-stable.tar.gz nginx_upstream_hash-master.zip nginx-1.5.9.tar.gz pcre-8.35.tar.gz
管理系统是一种通过计算机技术实现的用于组织、监控和控制各种活动的软件系统。这些系统通常被设计用来提高效率、减少错误、加强安全性,同时提供数据和信息支持。以下是一些常见类型的管理系统: 学校管理系统: ...
基于go语言实现的分布式缓存系统源码+项目说明(以键值对的形式存储数据,一致性hash算法选择存储节点,Protobuf通信协议编解码。用户输入查询请求后,会优先在缓存系统查询,查不到则使用回调函数去源数据库查询,...
分布式系统的hash策略,决定了数据的分布。传统的方式采用modn的算法,非常简单,但是一旦节点发生变化,所有的数据都需要重组,代价非常大。一致性哈希(Consistenthash)很好的解决了这个问题,当节点发生变化时,只...
使用介绍:基于SpringBoot + Rpc-Netty-Framework前后端分离、控制与持久层分离的分布式博客系统。 项目亮点: 1. 使用Interceptor + JWT + Hash + Zset 做用户权限双重认证、构建用户热搜词汇排行榜,同时过滤...
3、在HASH负载均衡算法的基础上结合对SIP协议进行的私有扩展,实现了分布式SIP处理系统的高级容错特性。 4、研究了IMS用户身份标识与鉴权卡号之间的多对多关系,分析了其对分布式SIP处理系统的影响及在不同分布关键字...
基于go语言实现的分布式缓存系统源码+项目说明(以键值对的形式存储数据,一致性hash算法选择存储节点,Protobuf通信协议编解码。用户输入查询请求后,会优先在缓存系统查询,查不到则使用回调函数去源数据库查询,...
搞懂分布式技术11:分布式session解决方案与一致性hash.docx
hash_set c++总结(自定义类型stuct、class)。总结自定义struct、class三个案例。find函数测试,hash_set迭代器。
│ 06.FastDFS安装步骤-文件上传.avi │ 07.配置nginx插件访问图片.avi │ 08.测试图片上传.avi │ 09.FastDFS工具类的使用.avi │ 10.图片上传过程分析.avi │ 11.图片上传Service.avi │ 12.图片上传完成.avi │ ...
2.1.2 memcache API与分布式 64 2.1.3 分布式session 69 2.2 持久化存储 71 2.2.1 MySQL扩展 72 2.2.2 HBase 80 2.2.3 Redis 91 2.3 消息系统 95 2.3.1 ActiveMQ & JMS 96 2.4 垂直化搜索引擎 104...
压缩包里包括了MD5算法的源代码,完全用C语言实现,同时还附带了7个验证Hash的小工具,供大家使用希望对大家有所帮助!谢谢使用
比如:一个分布式存储系统,要将数据存储到具体的节点(服务器)上, 在服务器数量不发生改变的情况下,如果采用普通的hash再对服务器总数量取模的方法(如key%服务器总数量),如果期间有服务器宕机了或者需要增加...
1. 基础知识 3 2. 环的原子管理算法 4 3. 路由算法 10 4. 组通信算法 15 5. 副本管理算法 17 6. 分布式哈希表的应用 21 1. 基