Golang

Go常用的设计模式 Go项目开发中比较常用的设计模式 创建型模式 单例模式 工厂模式 结构型模式 策略模式 模板模式 行为型模式 代理模式 选项模式 创建型模式 单例模式 package singleton import "sync" type singleton struct {} var ins *singleton var once sync.Once func GetInsOr() *singleton{ once.Do(func(){ ins = &singleton{} }) return nil } 使用once.Do可以确保ins实例全局被创建一次 单例模式实际上有饿汉方式和懒汉方式，这里只介绍在Go项目中单例模式最优雅的实现方式 工厂模式 工厂模式是面向对象编程中的常用模式。可以通过不同的工厂模式来带得Go项目变得简洁 简单工厂模式 package factory type Person struct{ Name string Age string } func (p Person) Greet() { fmt.Printf("name := %s, age := %s", p.Name, p.Age) } func NewPerson(name string, age int) *Person { return &Person{ Name: name, Age: age, } } 通过NewPerson创建实例，可以确保实例的Name和Age属性被设置 抽象工厂模式 抽象工厂模式和简单工厂模式的唯一区别，返回的是接口而不是结构体 通过返回接口，可以在不公开内部实现的情况下，让调用者使用提供的各种功能 package factory type PersonIntf interface { Greet() } type person struct { name string age int } func (p person) Greet() { fmt.Printf("Hi! My name is %s", p.name) } // Here, NewPerson returns an interface, and not the person struct itself func NewPerson(name string, age int) PersonIntf { return person{ name: name, age: age, } } 工厂方式模式 在工厂方法模式，依赖工厂函数，通过实现工厂函数来创建多种工厂，将对象创建从由一个对象辅助所有具体类的实例化，变成由一群子类来负责具体类的实例化 ...

RPC 基础 RPC（Remote Procedure Call），即远程过程调用。，允许计算机调用另外一台远程计算机上的程序

1. KV基础 KV存储，即键值数据存储，是一种基于键值对的存储方式，将数据存储为一个由键和值组成的二元组 KC存储的应用场景：作数据库的缓存层、分布式系统中的元数据、分布式锁 最常见的KV数据库是Redis，Redis是基于内存的KV数据库，虽有持久化策略AOF和RDB，但是本质上还是面向内存设计的，数据收到内存的限制 而本项目go-bitDB是面向磁盘的KV数据库 KV数据库的数据存储模型大致分为两种，一个B+树，一个是LSM树 B+树：BolitDB LSM树：LevelDB、RocksDB 2. 了解bitcask存储模型 [[bitcask-intro.pdf]] bitcask存储模型是由提供分布式存储系统的企业Riak提出 对bitcask存储模型的理想： 读写低延迟 高吞吐，特别对大量的随机写入 能处理超过内存容量的数据 崩溃恢复好，保证快速恢复，进来不丢失数据 简单的备份和恢复策略 相对简单，易懂的代码结构和数据存储格式 在大数据量下，性能有保障 能够自由使用在Riak系统 一个bitcask实例就是系统上的一个目录，并且限制同一时刻只能有一个进程打开这个目录。 目录中多个文件同一个刻只能有一个活跃的文件用于写入新的数据 当活跃文件写到一个阈值后，就会被关闭，成为旧的数据文件，并打开一个新的文件用于写入 所以一个目录里面就是：一个活跃文件和多个旧文件 当前活跃文件的写入是追加(append only)，这表示可以利用顺序IO，不会有多余的磁盘寻址，减少了磁盘寻道实践，最大限度保证吞吐 写入文件的数据格式，其字段为 crc：数据校验，防止数据被破环、篡改 timestamp：写入数据的时间戳 ksz：key size，key的大小 value_sz：value size，value的大小 key：用户实际存储的key value：用户实际存储的value crc | tstamp | ksz | value_sz | key | value 每次写入都是追加到活跃文件中，删除操作实际上也是一次追加写入 当下次merge的时候，才会将这种无效的数据清理。旧数据在merge前将一直存在于磁盘文件中，旧数据的删除操作是新追加一条标识其被删除的记录 在追加写入磁盘文件后，更新内存中的数据结构，叫keydir，实际是全部key的一个集合，存储的是key到一条磁盘文件数据的位置 keydir根据需求可以使用哈希表、B树、跳表等天然支持排序的数据结构 key --> file_id | value_sz | value_pos | tstamp key --> file_id | value_sz | value_pos | tstamp ...... key --> file_id | value_sz | value_pos | tstamp keydir在内存中存储一条数据在磁盘中的最新位置，旧数据等待merge的时候清理 ...