go_package_example

Table of Contents generated with DocToc

• go_package_example(Go常用包)
  • 第零章 rpc实现选项
  • 第一章 服务注册中心consul
  • 第二章 日志库
  • 第三章 消息队列
  • 第四章 服务注册及配置文件中心 Nacos
  • 第五章 关系型数据库
  • 第六章 获取对外可用IP和端口
  • 第七章 验证器 go-playground/validator
  • 第八章 GRPC编程及调优
  • 第九章 Nosql 非关系型数据库
  • 第十章 链路追踪(Distributed Tracing)
  • 第十一章 依赖注入容器(Dependency Injection Container)
  • 第十二章 time 时间
  • 第十三章 序列化反序列化-涉及多种协议
  • 第十四章 系统监控
  • 第十五章 分布式事务
  • 第十六章 copier 复制数据
  • 第十七章 数据加解密
  • 第十八章 日志收集项目 log_collect
  • 第十九章 熔断,限流及降级
  • 第二十章 应用的命令行框架
  • 第二十一章 配置文件解析:viper(依赖 mapstructure,fsnotify,yaml,toml)
  • 第二十二章 ETCD
  • 第二十三章 Go-Micro框架(不推荐)
  • 第二十四章 搜索引擎es
  • 第二十五章 监控sentry
  • 第二十六章 图数据库Neo4j
  • 第二十七章 Mysql的binlog
  • 第二十八章 OLAP(Online Analytical Processing 联机分析处理)
  • 第二十九章 分布式锁及源码分析
  • 第三十章 Zookeeper
  • 第三十一章 分布式 Id
  • 第三十二章 Consensus algorithm 共识算法
  • 第三十三章 压缩算法及实现
  • 第三十四章 本地缓存
  • 第三十五章 sonar静态代码质量分析-涉及与golangci-lint对比使用
  • 第三十六章 Proto管理工具 Buf
  • 第三十七章 CI 持续集成
  • 第三十八章 Mergo实现 struct 与 map 之间转换-->k8s中应用
  • 第三十九章 权限管理 casbin
  • 第四十章 规则引擎 rule engine
  • 第四十一章 hashicorp/go-plugin 插件使用-->httprunner 4.0 使用
  • 第四十二章 open-api
  • 第四十三章 go-systemd-->k8s 中使用
  • 第四十四章 godotenv 处理 env 文件-->flannel 中使用
  • 第四十五章 netlink-->flannel 中使用
  • 第四十六章 go-bindata-->ecapture嵌入 ebpf 字节码
  • 第四十七章 消息通知
  • 参考

go_package_example(Go常用包)

第零章 rpc实现选项

• 1 手动实现rpc
  • 客户端
  • 服务端
• 2 手动实现stub中间人
  • 客户端
  • 客户端中间人stub
  • 业务方法
  • 服务端
  • 服务端中间人stub
• 3 json_rpc
  • 客户端
  • 服务端
• 4 http_rpc
  • 服务端

第一章 服务注册中心consul

• consul架构

• 分布式锁-->consul实现)

• 1 http服务注册发现加健康检查

• 2 grpc服务注册发现加健康检查

第二章 日志库

• 1 标准库 log
• 2 slog-->go 1.21 引入
  • 2.1 自定义 level
  • 2.2 使用 handler
  • 2.3 使用 group 汇总多个属性
• 3 zap使用及源码分析
  • 3.1 两种打印风格
  • 3.2 定义多种输出位置: 控制台输出及文件输出
  • 3.3 并发安全logger
  • 3.4 zap(配合 lumberjack 库按文件大小切割或 go-file-rotatelogs 库按日期切割)实现定制化log日志归档
    • 3.4.1 lumberjack 日志切割
  • 3.5 简单的基于Entry实现的hook函数-->无法接收到Fields的相关参数
• 4 logrus-->兼容 log 库
• 5 zerolog
• 6 C++日志库glog的golang版本
  • 6.1 vlevel 日志级别小于或等于 level 的日志打印处理
  • 6.2 vmodule: 单独定制模块级别, log_backtrace_at: 打印堆栈
• 7 klog-->glog 的 fork 版本,应用 k8s

第三章 消息队列

• 1 rabbitmq
  • 1.1 消费者：推拉模式
  • 1.1 生产者
• 2 kafka
  • 2.1 客户端 sarama
    • 2.1.1 生产者
      • 同步
      • 异步
    • 2.1.2 消费者
  • 2.2 客户端 confluent-kafka-go
    • 2.2.1 生产者
    • 2.2.2 消费者
• 3 rocketmq
  • 3.1 消费者：简单消费,延迟消费
  • 3.2 生产者：简单消息，延迟消息，事务消息
• 4 Asynq 分布式延迟队列
  • 4.1 生产者
  • 4.2 消费者

第四章 服务注册及配置文件中心 Nacos

• 4.1 获取配置及监听文件变化
• 4.2 服务注册，监听，获取
  • V2版本

第五章 关系型数据库

• 1 GORM
  • 1.1 GORM原理及实现
  • 1.2 连接池使用
• 2 XORM
  • 2.1 主从连接
  • 2.2 调用mysql函数
  • 2.3 事务处理
  • 2.4 crud
    • 插入Insert
    • 原生 sql
    • 获取 retrieve
    • 更新 update
• 3 database/sql
  • 3.1 converter 把普通的值转化成 driver.Value的接口
• 4 SQL生成库 Squirrel
• 5 postgresql
  • 5.1 jackc/pgx
• 6 mysql
  • 6.1 MySQL的主流驱动 go-mysql-driver插件源码分析

第六章 获取对外可用IP和端口

• 1 通过google, 国内移动、电信和联通通用的DNS获取对外 Ip 和 port
• 2 获取本地可用端口

第七章 验证器 go-playground/validator

• 1 dive 递归结构体字段验证
• 2 前端数据校验
• 3 错误处理:验证器校验错误英转中

第八章 GRPC编程及调优

前置知识

• makefile 在 protobuf 中应用,生成 Pb 文件

• protobuf

  • 引入其他proto文件,支持编译多个proto文件
  • 编码原理

• protobuf 工具:protoc,protoc-gen-go,protoc-gen-go-grpc,protoc-gen-gofast 等

• 1 HelloWorld 入门使用及源码分析

  • 1.1 客户端 Grpc 源码
  • 1.2 服务端 Grpc 源码

• 2 context 中的元数据 metadata

• 3 流式GRPC

• 4 jsonpb 包序列化和反序列化: protobuf 转 json

• 5 负载均衡

  • 5.1 客户端负载均衡(Resolver接口和Builder接口)
    • 第三方consul实现Resolver接口和Builder接口
    • 自定义实现Resolver接口和Builder接口
    • 自定义实现nacos服务注册与发现
  • 5.2 服务端

• 6 retry机制

• 7 grpc错误抛出与捕获

• 8 auth自定义认证

• 9 Grpc插件-引入第三方proto实现字段验证器-->

• 10 Grpc插件-使用 gRPC 转码（RPC Transcoding）实现暴露 http服务-->grpc网关在etcd中应用 -buf 在 protobuf 中应用,生成 Pb 文件-->推荐 -原始不使用 buf 生成pb文件

• 11 Grpc插件-gogo/protobuf

• 12 GRPC生态中间件(拦截器扩展)

  • 实现基于 CA 的 TLS 证书认证
  • go-grpc-middleware 实现多个中间件：异常保护，日志

• 13 channelz 分析问题

• 14 multiplex多路复用

• 15 自定义 grpc 插件

• 16 同目录 proto 文件引入

• 17 field masks

第九章 Nosql 非关系型数据库

• 1 MongoDB
  • mongo和mysql对比：储存引擎及内存结构
  • 1.1 增删改查
• 2 Redis(协议，原理，持久化方式)
  • redis底层数据结构对象源码分析
  • redis 集群
  • 2.1 redigo使用
  • 2.2 go-redis使用(官方)
    • 2.2.1 连接池分析
    • 2.2.2 连接初始化及命令执行流程
    • 2.2.3 protocol协议封装
    • 2.2.4 批处理pipeline分析

第十章 链路追踪(Distributed Tracing)

• 1 OpenTracing->Jaeger
  • 1.1 结合XORM
  • 1.2 结合redis
• 2 OpenTelemetry 两大开源社区合并
  • 跨服务组合tracer代码展示:需开启svc1和svc2两个http服务(url可以是zipkin或则jaeger)

第十一章 依赖注入容器(Dependency Injection Container)

• 1 dig 依赖注入
• 2 wire 依赖注入
  • 2.1 不使用wire现状
  • 2.2 使用wire优化
  • 2.3 wire使用-带err返回
  • 2.4 wire使用-带参数初始化
• 3 fx 依赖注入框架

第十二章 time 时间

• 1 clockwork 虚拟时钟库-->etcd使用
• 2 carbon 时间处理

第十三章 序列化反序列化-涉及多种协议

• 1 标准库 json
  • 1.1 omitempty 标签: 忽略空值字段,忽略嵌套结构体空值字段,不修改原结构体忽略空值字段
  • 1.2 string 标签: 处理字符串格式的数字,json.Number 处理json字符串中的数字
  • 1.3 自定义的时间格式解析
  • 1.4 自定义的MarshalJSON方法 和 UnmarshalJSON
  • 1.5 使用匿名结构体添加字段, 使用匿名结构体组合多个结构体
  • 1.6 inline 标签: 将嵌套结构体字段展开到父结构体中
• 2 Jsoniter(完全兼容标准库json，性能较好)-涉及标准库 encoding/json 分析
  • 2.1 序列化
    • 2.1.1 指针变量，序列化时自动转换为它所指向的值
    • 2.1.2 结构体成员为interface{}
    • 2.1.3 extra.SetNamingStrategy 统一更改字段的命名风格
  • 2.2 反序列化
    • 2.2.1 反序列化匹配规则
    • 2.2.2 json 字符串数组
    • 2.2.3 json.RawMessage 二次反序列化
    • 2.2.4 extra.SupportPrivateFields() 解析私有的字段
• 3 mapstructure 将通用的 map 值解码为 struct
  • 3.1 无tag标签
  • 3.2 带tag标签mapstructure
  • 3.3 embeded内嵌标签squash
  • 3.4 未映射字段保留标签remain
  • 3.5 省略字段标签omitempty
  • 3.6 元数据展示源数据未映射字段
  • 3.7 错误
  • 3.8 弱解析
  • 3.9 自定义解析器
  • 3.10 time 类型 DecodeHookFunc
• 4 json patch 两种标准
  • 4.1 github.com/evanphx/json-patch/v5 使用

第十四章 系统监控

• 1 systemstat包(适合linux系统，已断更)

• 2 gopsutil

  • 2.1 cpu,mem,disk
  • 2.2 进程信息获取
    • 物理机和虚拟机
    • 容器环境

• 3 prometheus

  • 3.1 exporter
    • 3.1.1 内置 collector
    • 3.1.2 使用自定义 collector
  • 3.2 client
  • 3.3 k8s 部署
    • 3.2.1 原始 yaml --> 测试环境
    • 3.2.2 Prometheus Operator --> 生产环境
  • 3.4 PromQL(Prometheus Query Language)
  • 3.5 存储模型及监控指标查询性能调优

• 4 AlertManager

• 5 VictoriaMetrics

第十五章 分布式事务

• Note: 使用DTM的代码作为案例
• 1 两阶段提交2pc/XA
• 2 saga事务
• 3 TCC事务
• 4 etcd的STM

第十六章 copier 复制数据

• 1 基本使用
• 2 方法赋值: 目标对象中的一些字段，源对象中没有，但是源对象有目标对象字段同名的方法
• 3 调用目标方法: 目标对象中的一些字段，源对象中没有，但是目标对象有一个源对象字段同名的方法
• 4 切片拷贝

第十七章 数据加解密

• 1 phpserialize(不推荐)

第十八章 日志收集项目 log_collect

• 1 动态选择文件
• 2 文件内容读取发送

第十九章 熔断,限流及降级

• 0 令牌桶官方包 x/time/rate
• 1 Sentinel-->滑动窗口
  • 1.1 基于流量 QPS 控制
    • 流量控制器的Token计算策略:direct
    • 流量控制器的Token计算策略:warmUp
  • 1.2 熔断
    • ErrorCount
    • ErrorRatio
    • SlowRequestRatio
• 2 Hystrix-->滑动窗口
  • 2.1 客户端
  • 2.2 服务端
• 3 uber-go/ratelimit-->Leaky Bucket(漏桶)
• 4 envoyproxy/ratelimit-->计数器

第二十章 应用的命令行框架

• 1 Cobra -->在 k8s 中的应用
  • 1.1 cobra 构建 time 展示及解析,flag 使用
• 2 Urfave Cli -->在 buildkit 中的应用
• 3 alecthomas/kingpin -->在 node_exporter 使用

第二十一章 配置文件解析:viper(依赖 mapstructure,fsnotify,yaml,toml)

• 1 viper获取本地文件内容
• 2 监听文件变化(fsnotify)原理分析
• 3 远程读取 nacos 配置
• 4 gopkg.in/yaml.v3 使用
• 5 pelletier/go-toml 使用
• 6 gopkg.in/ini.v1 使用

第二十二章 ETCD

• 服务端server--读和写流程分析
• 服务端server--鉴权分析
• 服务端server--mvcc并发控制
• 服务端server--watch机制
• etcd 指标
• 1 基本操作CRUD及watch监听
• 2 boltdb基本操作及在etcd中的源码分析
• 3 bbolt改善boldb

第二十三章 Go-Micro框架(不推荐)

• 1 Config配置加载包

第二十四章 搜索引擎es

• es索引及索引生命周期管理
• 1 go-elasticsearch 官方包
  • 1.1 批量写入Bulk
  • 1.2 es日志
  • 1.3 并发批量BulkIndexer

第二十五章 监控sentry

• 1 结合gin基本shiyong
• 2 自定义zap core模块收集error级别日志上报sentry

第二十六章 图数据库Neo4j

• cypher语句
• 1 CRUD在web服务中

第二十七章 Mysql的binlog

• binlog,gtid介绍
• canal使用及源码分析

第二十八章 OLAP(Online Analytical Processing 联机分析处理)

• 1 列数据库 ClickHouse
  • 1.1 database/sql 接口操作 clickHouse
  • 1.2 原声接口操作 clickHouse
  • 驱动 go-clickHouse 源码分析
  • clickhouse 表引擎
  • clickhouse 基本命令

第二十九章 分布式锁及源码分析

• 1 redsync(RedLock 算法官方实现)
• 2 etcd 实现分布式锁
• 3 zookeeper 实现分布式锁

第三十章 Zookeeper

• Zab协议(Zookeeper Atomic Broadcast 原子广播协议)
• 1 节点管理
• 2 基于 zookeeper watch 实现注册于发现

第三十一章 分布式 Id

• 1 UUID( Universally Unique Identifier 通用唯一标识码)
  • 1.1 github.com/google/uuid 8个版本使用
• 2 雪花算法
  • 2.1 bwmarrin/snowflake-->原生 twitter实现
  • 2.2 SonyFlake-->解决原生算法时间回拨问题

第三十二章 Consensus algorithm 共识算法

• 1 Paxos 协议
• 2 Raft 协议
  • hashicorp/raft 在consul实现
  • raft 在etcd实现原理分析
  • 2.1 使用 hashicorp/raft 调试应用
• 3 gossip 协议
  • 3.1 github.com/hashicorp/memberlist 使用

第三十三章 压缩算法及实现

• 1 snappy 压缩库-->prometheus 使用
• 2 zstd
• 3 zlib

第三十四章 本地缓存

• 1 go-cache源码分析及性能分析
• 2 free-cache源码分析及性能分析
• 3 hashicorp/golang-lru实现及变体

第三十五章 sonar静态代码质量分析-涉及与golangci-lint对比使用

第三十六章 Proto管理工具 Buf

第三十七章 CI 持续集成

• 1 gitlab-runner 源码分析

第三十八章 Mergo实现 struct 与 map 之间转换-->k8s中应用

• 1 struct 与 map 之间转换
• 2 override 覆盖选项
• 3 结构体中的切片使用
• 4 类型检查

第三十九章 权限管理 casbin

• 1 ACL（access-control-list，访问控制列表)
• 2 RBAC (role-based-access-control 基于角色的权限访问控制)
• 3 基于domain或tenant租户实现RBAC
• 4 ABAC(Attribute-based access control 基于属性的权限验证)使用 eval()功能构造来实现基于自定义规则

第四十章 规则引擎 rule engine

• 1 govaluate-->casbin 使用
• 2 bilibili/gengine
• 3 expr-lang/expr-->argo-rollouts 使用

第四十一章 hashicorp/go-plugin 插件使用-->httprunner 4.0 使用

第四十二章 open-api

第四十三章 go-systemd-->k8s 中使用

第四十四章 godotenv 处理 env 文件-->flannel 中使用

第四十五章 netlink-->flannel 中使用

第四十六章 go-bindata-->ecapture嵌入 ebpf 字节码

第四十七章 消息通知

• 1 websocket
• 2 sse

参考

• awesome-go