当前位置:首页 > 开发 > 开源软件 > 正文

Redis主从实现原理分析

发表于: 2015-05-28   作者:aoyouzi   来源:转载   浏览次数:
摘要: (1)Slave服务器连接到Master服务器. (2)Slave服务器发送SYCN命令. (3)Master服务器备份数据库到.rdb文件. (4)Master服务器把.rdb文件传输给Slave服务器. (5)Slave服务器把.rdb文件数据导入到数据库中.   上面的这5步是同步的第一阶段, 接下来在Master服务器上调用每一个命令都使用replicati

(1)Slave服务器连接到Master服务器.

(2)Slave服务器发送SYCN命令.

(3)Master服务器备份数据库到.rdb文件.

(4)Master服务器把.rdb文件传输给Slave服务器.

(5)Slave服务器把.rdb文件数据导入到数据库中.

 

上面的这5步是同步的第一阶段, 接下来在Master服务器上调用每一个命令都使用replicationFeedSlaves()来同步到Slave服务器.

 

, 实现细节

(1) Slave服务器连接到Master服务器 / 发送SYNC命令:

Slave服务器通过syncWithMaster()函数来连接Master服务器(如果Master服务器需要密码登陆的话,先登陆), 并且发送SYNC命令请求同步, 接着打开rdb文件(用于存储由Master发送过来的数据), 创建读rdbIO事件(readSyncBulkPayload). 代码如下:

int syncWithMaster(void) {

......

//登陆master服务器

if(server.masterauth) {

syncWrite(fd, "AUTH xxx\r\n", strlen(server.masterauth)+7, 5);

......

}

//发送SYNC命令

syncWrite(fd,"SYNC \r\n",7,5);

......

//打开rdb文件

dfd = open(tmpfile,O_CREAT|O_WRONLY|O_EXCL,0644);

......

//创建读rdbIO事件

aeCreateFileEvent(server.el, fd, AE_READABLE, readSyncBulkPayload, NULL);

......

return REDIS_OK;

}

 

(2) Master服务器备份数据库到.rdb文件:

Slave服务器发送SYNC命令到Master服务器时, Master服务器便会调用syncCommand()函数来进行同步. 同步的第一步是把数据库的数据存储为rdb文件, 存储完毕后调用updateSlavesWaitingBgsave()函数来发送rdb文件给所有的Slave服务器.代码如下:

void syncCommand(redisClient *c) {

    //如果正在保存rdb文件

if (server.bgsavechildpid != -1) {

    ......

    //主要判断当前存储rdb文件是不是由SYNC命令触发的

    //如果当前存储rdb文件不是由SYNC命令触发, 则要等到下一次

    ......

} else {//否则调用rdbSaveBackground()存储rdb文件

    rdbSaveBackground(server.dbfilename);

}

}

 

rdbSaveBackground()函数执行完毕, 就会调用updateSlavesWaitingBgsave()来发送rdb文件到所有的Slave服务器, 代码如下:

void updateSlavesWaitingBgsave(int bgsaveerr) {

    listRewind(server.slaves,&li);

while((ln = listNext(&li))) {

    slave->repldbfd = open(server.dbfilename,O_RDONLY);

    .......

    aeCreateFileEvent(server.el,slave->fd,AE_WRITABLE, sendBulkToSlave,slave);

}

}

    updateSlavesWaitingBgsave()要做的事情是, 打开rdb文件, 创建发送rdb文件IO事件(sendBulkToSlave). sendBulkToSlave()主要的工作就是把rdb文件发送给Slave服务器.

    而当Slave服务器接收rdb文件完毕之后(readSyncBulkPayload()函数处理), 会清空原来数据库的数据, 然后把rdb文件的数据导入到数据库中.

 

(3) 增量同步

完成上面的步骤之后, 同步基本完成. 接下来的工作就是增量同步, 也就是当Master服务器有数据更新的时候, 会立刻同步到所有的Slave服务器. replicationFeedSlaves()函数完成.

当我们在Master服务器增减数据的时候, 就会触发replicationFeedSlaves(), 代码如下:

void call(redisClient *c, struct redisCommand *cmd) {

    ......

    if ((dirty || cmd->flags & REDIS_CMD_FORCE_REPLICATION) &&

        listLength(server.slaves))

        replicationFeedSlaves(server.slaves,c->db->id,c->argv,c->argc);

    ......

}

call()函数就是当用户执行命令的时候触发. dirty表示是否有数据更新, 如果有数据更新而且slave服务器不为空, 就执行replicationFeedSlaves().

replicationFeedSlaves()主要做的工作就是把用户执行的命令发送到所有的Slave服务器, Slave服务器执行. 这样就可以实施同步功能.

Redis主从实现原理分析

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
1. 引言 在并发编程中我们有时候需要使用线程安全的队列。如果我们要实现一个线程安全的队列有两种
1. 引言 在并发编程中我们有时候需要使用线程安全的队列。如果我们要实现一个线程安全的队列有两种
BufferedInputStream是一个带有缓冲区的输入流,通常使用它可以提高我们的读取效率,现在我们看下Buf
ufferedInputStream是一个带有缓冲区的输入流,通常使用它可以提高我们的读取效率,现在我们看下Buf
1. HashMap概述: HashMap是基于哈希表的Map接口的非同步实现。此实现提供所有可选的映射操作,并允
1. HashMap的数据结构 数据结构中有数组和链表来实现对数据的存储,但这两者基本上是两个极端。 数
1. HashMap的数据结构 数据结构中有数组和链表来实现对数据的存储,但这两者基本上是两个极端。 数
1. HashMap概述: HashMap是基于哈希表的Map接口的非同步实现。此实现提供所有可选的映射操作,并允
转载自:http://linux.chinaitlab.com/MYSQL/779956.html 由于 GROUP BY 实际上也同样会进行排序操
1. 函数调用(消息)实现分析: 我们看这条语句: [代码]c#/cpp/oc代码: 1 [self.person setValue:
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号