iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >[redis]SDS和链表
  • 692
分享到

[redis]SDS和链表

[redis]SDS和链表 2016-12-20 01:12:42 692人浏览 无得
摘要

一、SDS 1、SDS结构体 redis3.2之前:不管buf的字节数有多少,都用 4字节的len来储存长度,对于只存短字符串那么优点浪费空间,比如只存 name,则len=4 则只需要一个字节8位即可表示 struct sds

[redis]SDS和链表

一、SDS

1、SDS结构体

redis3.2之前:不管buf的字节数有多少,都用 4字节的len来储存长度,对于只存短字符串那么优点浪费空间,比如只存 name,则len=4 则只需要一个字节8位即可表示

struct sdshdr {
    unsigned int len; // buf中已占字节数
    unsigned int free; // buf中剩余字节数
    char buf[]; // 数据空间
};

redis3.2之后:

struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; //已分配字节数
    uint8_t alloc; //剩余字节数
    unsigned char flags; //标识属于那种类型的SDS  低3存类型,高5不使用
    char buf[]; 
};
//........16、32、64

_attribute_ ((_packed_)) 关键字是为了取消字节对齐

struct test1 {
 char c;
 int i;
};

struct __attribute__ ((__packed__)) test2 {
 char c;
 int i;
};

int main()
{
 cout << "size of test1:" << sizeof(struct test1) << endl;
 cout << "size of test2:" << sizeof(struct test2) << endl;
}

注意,这些结构都存在一个 char[]内,通过偏移来访问

buf指针在char数组开头位置,方便直接访问

graph TB subgraph header-->buf end


2、重要函数解析

sdsReQtype

确定类型:sdsReqType根据传入的 char[] 长度来缺点应该用哪种类型的 SDS结构体来描述

static inline char sdsReqType(size_t string_size) {
    if (string_size < 1<<5)
        return SDS_TYPE_5;
    if (string_size < 1<<8) //8位 表示长度范围 0-256
        return SDS_TYPE_8;
    if (string_size < 1<<16) //16位 
        return SDS_TYPE_16;
#if (LONG_MAX == LLONG_MAX)
    if (string_size < 1ll<<32)
        return SDS_TYPE_32;
    return SDS_TYPE_64;
#else
    return SDS_TYPE_32;
#endif
}

sdsnewlen

根据长度结构化 char数组,创建一个 长度为 str本身长度+head长度的数组, sdsnew就是调用这个来创建sds字节数组的

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh; //存放sds header数据的头指针
    sds s; //char* s
    char type = sdsReqType(initlen); //根据str长度 确定SDS header类型
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    int hdrlen = sdsHdrSize(type); //header 长度
    unsigned char *fp; //类型指针

    sh = s_malloc(hdrlen+initlen+1); //分配 str长度+header长度的内存空间
    ...
    memset(sh, 0, hdrlen+initlen+1); //初始化空间
    s = (char*)sh+hdrlen; //移动到header之后的buf首地址位置
    fp = ((unsigned char*)s)-1; //移动到header的尾部 标识sds header类型
    switch(type) {
       ....
        case SDS_TYPE_8: {
//#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));  
  //sh指向header空间头部位置 s代表buf首地址  下面将sh移动到header的首地址
        SDS_HDR_VAR(8,s); //struct sdshdr8* sh = (void*)(s-sizeof(header))
        sh->len = initlen; //填充数据
        sh->alloc = initlen; 
        *fp = type;//类型数据填充
        break;
       }
       ......
    }
    if (initlen && init)
        memcpy(s, init, initlen); //将str数据复制到buf中
    s[initlen] = "";
    return s;
}

sdslen、sdsavail

返回使用和未使用的空间。 **根据头部类型转化指针,然后直接 sh->len 和 sh->alloc-sh->len **即可求出


sdscat、sdscatlen、sdsMakeRoomFor

t拼接到 s 中,

sds sdscatsds(sds s, const sds t) {
    return sdscatlen(s, t, sdslen(t));
}
sds sdscatlen(sds s, const void *t, size_t len) {
    size_t curlen = sdslen(s);

    s = sdsMakeRoomFor(s,len); //保证空间充足
    if (s == NULL) return NULL;
    memcpy(s+curlen, t, len); //直接copy
    sdssetlen(s, curlen+len); //设置新的长度
    s[curlen+len] = "";
    return s;
}

sdsMakeRoomFor是为了保证空间充足,如果不充足进行扩容,下面就是newlen的核心代码,会扩容大于需要的长度,防止多次扩容。体现了 预先分配

扩容是一个耗时的操作

    if (avail >= addlen) return s;

    len = sdslen(s);
    sh = (char*)s-sdsHdrSize(oldtype);
    newlen = (len+addlen);
    if (newlen < SDS_MAX_PREALLOC) //#define SDS_MAX_PREALLOC (1024*1024)
        newlen *= 2;
    else
        newlen += SDS_MAX_PREALLOC;

sdstrim

将cset中在s出现的删除,这个函数就体现了 惰性释放 ,不会缩减空间,仅仅改变 len,同时也体现了 和 c的兼容性,可以用 系统strings函数来操作 sds

sds sdstrim(sds s, const char *cset) {
    char *start, *end, *sp, *ep;
    size_t len;

    sp = start = s;
    ep = end = s+sdslen(s)-1;
    while(sp <= end && strchr(cset, *sp)) sp++;
    while(ep > sp && strchr(cset, *ep)) ep--;
    len = (sp > ep) ? 0 : ((ep-sp)+1);
    if (s != sp) memmove(s, sp, len);
    s[len] = "";
    sdssetlen(s,len);
    return s;
}




3、优点

A.获取长度方便

c字符串获取长度需要便利char数组,O(n),而SDS结构体记录了长度,不需要char数组即可知道长度。


B.防止溢出

char数组不知道还有多少空间空余,可能会在两个字符串拼接的时候溢出,而SDS记录了未使用的空间,可以有效的分配扩容,防止溢出。


C.内存分配方便和使用高效

传统c的char数组,如果空间不足,需要手动扩容,然后复制原数据,截断时,也需要缩减空间,来防止内存泄漏。但是SDS可以进行 空间预分配、惰性释放 等策略来搞效的使用内存。

  • 空间预分配:

    预先分配足够的空间,减少扩容次数

  • 惰性释放

    因为SDS记录了 free未分配空间字段,所以截断字符串的时候不需要立即复制元素进行缩减,直接增加 free 数值,减少 len即可,后面要增加字符串只增加len,减少free ,覆盖写入即可。(free = alloc-len)


D.兼容C

SDS只是增加了两个字段,其实数据还是存在 char[] buf里面的,所以可以使用 c内置的字符串处理函数来处理 SDS底层字节数组。

typedef char *sds;

所以在处理 字符串的api里只是传入了 char* 来处理字符串。空间是否充足都有额外的信息来描述。




二、链表

链表的话可以参考我的 https://www.cnblogs.com/bininGooginind/p/12553163.html

基本参照了Redis的链表操作。

1、结构体

typedef struct listnode {
    struct listNode *prev;
    struct listNode *next;
    void *value; //void* 指针 可以存放任意类型的数据
} listNode;


2、特点

链表的特点:

  • 删除、插入 O(1)
  • 遍历访问 O(n)
  • 有head和tail指针,将访问最后一个元素复杂度降低到O(1)
  • 带有 len长度,方便知道链表的长度
  • 双链表结构,前后遍历都方便
  • 无环
  • 多态:数据用 void 来指向,可以存放任意类型数据,不用为每个类型都写一个链表*
  • 迭代器模式链表有一个迭代器,方便遍历节点
typedef struct listIter {
    listNode *next; //下一个节点
    int direction; //遍历方向 forward or backward
} listIter;
您可能感兴趣的文档:

--结束END--

本文标题: [redis]SDS和链表

本文链接: https://www.lsjlt.com/news/5815.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Redis源码阅读:Redis字符串SDS详解
    SDS 基本概念 简单动态字符串(Simple Dynamic String)SDS,用作Redis 的默认字符串。 C语言中的字符串:以空字符结尾的字符数组 SDS实现举例 r...
    99+
    2024-04-02
  • Redis中SDS和C字符串的区别有哪些
    这篇文章主要介绍Redis中SDS和C字符串的区别有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!redis底层没有使用“C字符串”来表示,而是用自己构建的“SDS抽象类型”进行...
    99+
    2024-04-02
  • Redis快速表、压缩表和双向链表(重点介绍quicklist)
    前言 最近在看《Redis的设计与实现》这本书,写的真的是太好了,一下子就看入迷了,谢谢作者。不过在学习的时候发现一个问题,我服务器上安装的是Redis5.0.9版本的,而作者介绍的...
    99+
    2024-04-02
  • Redis中数组和链表的关系是什么
    Redis中数组和链表的关系是什么?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1.数组和链表基础知识数组:数组会在内存中开辟一块连续的空间存储数据,这种存储方式有利也有弊...
    99+
    2023-06-06
  • Redis中List实现双链表
    目录概述:特征:(与LinkedList类似)List常见命令1.Lpush key element.....:向列表左侧插入一个或多个元素 2.LPOP key :移除并返回列表左侧的第一个元素,没有则返回n...
    99+
    2023-06-09
    Redis List双链表 Redis 双链表
  • Redis中SDS简单动态字符串详解
    Redis 是内存数据库,高效使用内存对 Redis 的实现来说非常重要。 看一下,Redis 中针对字符串结构针对内存使用效率做的设计优化。 一、SDS的结构  C语言没有string类型,本质是char[...
    99+
    2023-04-12
    redis sds 介绍 redis sds原理 Redis的SDS结构
  • Redis中快速表、压缩表和双向链表的区别有哪些
    这篇文章主要介绍Redis中快速表、压缩表和双向链表的区别有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!前言最近在看《Redis的设计与实现》这本书,写的真的是太好了,一下子就看入迷了,谢谢作者。不过在学习的时...
    99+
    2023-06-14
  • redis专属链表ziplist的使用
    目录问题抛出结构设计实际节点基本操作增问题抛出 用过 Python 的列表吗?就是那种可以存储任意类型数据的,支持随机读取的数据结构。 没有用过的话那就没办法了。 本质上这种列表可以...
    99+
    2024-04-02
  • Redis链表底层怎么实现
    这篇“Redis链表底层怎么实现”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Redis链表底层怎么实现”文章吧。底层实现R...
    99+
    2023-07-05
  • Redis中链表的示例分析
    这篇文章主要介绍Redis中链表的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!1 链表和链表节点的结构1 节点结构节点的结构大概长下边这个样子:那么,把这些节点就连起来就成了这个样子:2 链表结构链表自然除...
    99+
    2023-06-22
  • C++相交链表和反转链表详解
    目录给你两个单链表的头节点 headA 和 headB ,请你找出并返回两个单链表相交的起始节点。如果两个链表没有交点,返回 null 。思路给你单链表的头节点 head ,请你反转...
    99+
    2024-04-02
  • Redis中的双链表有什么用
    这篇文章主要介绍了Redis中的双链表有什么用,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。在 Redis 数据类型中的列表list,对数据...
    99+
    2024-04-02
  • Redis数据结构之链表详解
    目录1 链表和链表节点的结构2 链表相关的API1 链表和链表节点的结构 1.1 节点结构 节点的结构大概长下边这个样子: 那么,把这些节点就连起来就成了这个样子: 1.2 链表...
    99+
    2024-04-02
  • JAVA中怎么实现链表和双向链表
    这篇文章给大家介绍JAVA中怎么实现链表和双向链表,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。JAVA基础:语言中链表和双向链表的实现(转)[@more@]链表是一种重要的数据结构,在程序设计中占有很重要的地位。C语...
    99+
    2023-06-03
  • Redis中SDS简单动态字符串问题怎么解决
    这篇文章主要介绍“Redis中SDS简单动态字符串问题怎么解决”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Redis中SDS简单动态字符串问题怎么解决”文章能帮助大家解决问题。一、SDS的结构&n...
    99+
    2023-07-06
  • java中单向链表和双向链表是什么
    小编给大家分享一下java中单向链表和双向链表是什么,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、链表简介1、链表概念链表是一种物理存储单元上非连续、非顺序的...
    99+
    2023-06-19
  • Redis链表底层实现及生产实战
    目录底层实现源码实现生产实战妙用实战实例Redis 聊天室示例总结Redis 的 List 是一个双向链表,链表中的每个节点都包含了一个字符串。是redis中最常用的数据结构之一,下面跟大家分享下redis链表的底层实现...
    99+
    2023-03-24
    Redis链表底层实现 Redis链表 Redis List
  • Redis中内部数据结构sds的作用是什么
    Redis中内部数据结构sds的作用是什么,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。sds的数据结构定义我们知道,在C语言...
    99+
    2024-04-02
  • 解析Redis数据结构之简单动态字符串sds
    Redis是用ANSI C语言编写的,它是一个高性能的key-value数据库,它可以作用在数据库、缓存和消息中间件。其中 Redis 键值对中的键都是 string 类型,而键值对...
    99+
    2024-04-02
  • 几分钟教你掌握Redis简单动态字符串SDS
    目录正文redisLog(REDIS_WARNING,"Redis is now ready to exit, bye bye...");与C字符串的区别获取字符...
    99+
    2023-01-28
    Redis动态字符串SDS Redis SDS
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作