My Weekly Reading Progress Report

one instance of metrics server running in each cluster
3rd party monitoring solution
in-memory store
cluster level component which periodically scrapes metrics from all Kubernetes nodes
introduce a new one - metrics server

community/metrics-server.md at master · kubernetes/community

5 annotations

github.com

469

Infrastore will expose one or more APIs (possibly just SQL-like queries
resource estimates
resource estimator
third-party monitoring solutions
out-of-the-box solution that can serve historical data
produced by user applications
produced by Kubernetes infrastructure components
non-core metrics, which are not interpreted by Kubernetes
core metrics

community/monitoring_architecture.md at master · kubernetes/community

9 annotations

github.com

433

需要已经存在的连接，去预测未来的连接
快速、准确地定位到自己需要的内容

聊聊推荐系统

2 annotations

www.toutiao.com

395

网络事件处理器
事件驱动
select、poll和epoll
单进程、单线程的
官方提供的数据为：读的速度是110000次/s，写的速度是81000次/s 。

面试官：Redis 为什么这么快？除了基于内存操作还有其他原因吗？ - 知乎

5 annotations

zhuanlan.zhihu.com

399

降级
保证缓存层服务高可用性
缓存层宕掉后，流量会像奔逃的野牛一样，打向后端存储。

Redis架构之防雪崩设计：网站不宕机背后的兵法

3 annotations

mp.weixin.qq.com

430

先更新数据库，成功后，让缓存失效
先把数据存到数据库中，成功后，再让缓存失效
只更新缓存，不更新数据库
数据不是强一致性的
Read/Write Through套路是把更新数据库（Repository）的操作由缓存自己代理了

缓存更新的套路 | | 酷壳 - CoolShell

5 annotations

coolshell.cn

329

放一个空值在缓存中

缓存穿透、雪崩、热点与Redis - 知乎

1 annotation

zhuanlan.zhihu.com

285

故障隔离
交付隔离
职责划分、解耦
资源审计和分配

论文解读：基于容器的分布式系统的设计模式 - 知乎

4 annotations

zhuanlan.zhihu.com

260

直写式缓存
写回式缓存
读写分离
数据库的连接数是有限的

缓存架构的理论分析 - 知乎

4 annotations

zhuanlan.zhihu.com

258

kafka采用pull
pull：优势在可以控制消费速度和消费数量，
push：优势在于消息实时性高
发布订阅
队列
备份高可用性
灵活的持久化策略
id指定从哪个位置
分配策略

kafka工作原理介绍 - 简书

9 annotations

www.jianshu.com

324

各个层面程序产生的日志
活动流数据，准实时的
要事务支持。
实时响应的交易数据
传统的日志分析系统是一种离线处理日志信息的方式
活跃的流式数据
上游模块的数据计算

为什么你要使用这么强大的分布式消息中间件——kafka - 知乎

7 annotations

zhuanlan.zhihu.com

259

流存储”Pravega”项目
数据处理和存储的规则
上百万 Topics
多租户
多备份机制
ISR 实时备份列表的机制
append-only 日志作为核心的数据存储结构
Kafka 在消息中间件领域基本上占据了垄断地位
86.6% 的企业选择基于开源软件构建自己的大数据处理业务

Kafka 加 Flink 不是终点！下一代大数据平台 Pravega - 知乎

9 annotations

zhuanlan.zhihu.com

250

专门的代理层
高吞吐、高并发、低延迟和负载均衡
性能需求
多台服务器，为同一种互联网应用提供服务，这就是所谓“分布式系统”

浅析分布式系统 - 腾讯WeTest - 博客园

4 annotations

www.cnblogs.com

211

based on labels on pods that are already running on the node
a label whose key
change at runtime
preferredDuringSchedulingIgnoredDuringExecution
requiredDuringSchedulingIgnoredDuringExecution

Assigning Pods to Nodes | Kubernetes

5 annotations

kubernetes.io

332

不要给出你的最低薪资预期
手握多份offer。
这个条件一定要是弹性的
每个HR都一筹莫展地表示他们“可能已经给不出更好的价格了”
不要急于表明自己的立场。也就是，不要轻易泄露底牌
我永远不会给出具体数字，而只给出薪资范畴

一篇还未入职就多挣10万美元的涨薪指南_详细解读_最新资讯_热点事件_36氪

6 annotations

36kr.com

146

可以将多次IO往返的时间缩减为一次
AOF做增量持久化
RDB做镜像全量持久化
在消费者下线的情况下，生产的消息会丢失
setnx和expire合成一条指令来用的
过期时间分散一些
过期的那个时间点
5个基本数据类型
BloomFilter

《吊打面试官》系列- Redis基础 - 知乎

9 annotations

zhuanlan.zhihu.com

操作系统级别的线程调度，通常不会做出合适的调度决策
Golang的程序中可以支持10w级别的Goroutine
堆栈和指令指针并开始运行goroutine
M直接关联了一个内核线程
M所需的上下文环境
每个P会负责一个队列
一种特殊的两级线程模型
用户态的线程
内核态的线程
内核空间主要操作访问CPU资源、I/O资源、内存资源等硬件资源，为上层应用程序提供最基本的基础资源
CSP（communicating sequential processes）并发模型
Goroutine可以理解为一种Go语言的协程。同时它可以运行在一个或多个线程上
微线程
线程的切换一般也由操作系统调度

【深度知识】GO语言的goroutine并发原理和调度机制 - 简书

14 annotations

www.jianshu.com

2020 年春节前后，今日头条DAU高达1.4 亿

今日头条上线搜索广告，8月刚引入前百度搜索高管-站长之家

1 annotation

www.chinaz.com

主动正常关闭TCP连接，都会出现TIMEWAIT

解决TIME_WAIT过多造成的问题 - 芹溪 - 博客园

1 annotation

www.cnblogs.com

2个MSL(Max Segment Lifetime)

发现大量的TIME_WAIT解决办法 - - ITeye博客

1 annotation

www.iteye.com

append-only fi le,AOF
snapshotting ， RDB
丰富的数据类型
分布式缓存

互联网高频面试题：Redis灵魂14问？问到你怀疑人生 - 知乎

4 annotations

zhuanlan.zhihu.com

BT客户端将成为一个Seeder

用P2P方法快速分发Docker镜像 - 存档 - Rainbond社区-企业应用云操作系统

1 annotation

t.goodrain.com

Choking/Unchoking算法

常见 p2p系统BitTorrent简介 - bw_0927 - 博客园

1 annotation

www.cnblogs.com

snapshot and content.
a local socket file which the containerd process has access to
Implementing a proxy plugin

containerd/PLUGINS.md at master · containerd/containerd

3 annotations

github.com

580

ctr run -t -d --rootfs rootfs busybox /bin/sh
bundle
rootfs和spec
containered.service
containerd
runc
btrfs

containerd学习 - 简书

7 annotations

www.jianshu.com

419

创建、更新和删除这三种事件类型
resourceVersion
消息的顺序性
消息的实时性
允许服务器为动态生成的内容维持 HTTP 持久链接
Chunked transfer encoding(分块传输编码)
异步消息处理机制

理解 K8S 的设计精髓之 List-Watch机制和Informer模块 - 知乎

7 annotations

zhuanlan.zhihu.com

509

controller 的POP 方法

Kubernetes Client-go Informer 源码分析-阿里云开发者社区

1 annotation

developer.aliyun.com

483

稳定是基础设施的生命线。所谓皮之不存，毛将焉附
20~150%的机器。
加20~30%的机器。
需要25~50%的额外机器。
稳定性能驱动的定制
需求进行归类、整理和分析
水土不服
每一个Kubernetes集群会管理三个物理Pod，大概是一万台的规模
每个数据中心部署若干套Kubernetes集群
它并不能解决数据中心资源使用率的问题，它其实仅仅解决了发布或者是管理资源的容器这方面的一些东西
api的请求数缩减了98%
api各请求资源类型中configmap占比可以到90%以
通过对于apiserver日志的分析，进而统计出每个请求的请求方法、请求的资源类型、namespace、资源名称、请求时间、来源ip等等信息，使用TSDB，在多个维度上进行聚合分析。

京东大规模Kubernetes集群的精细化运营 - 架构 - dbaplus社群：围绕Data、Blockchain、AiOps的企业级专业社群。技术大咖、原创干货，每天精品原创文章推送，每周线上技术分享，每月线下技术沙龙。

13 annotations

dbaplus.cn

411

标准输入、标准输出、标准错误
镜像管理（镜像、元信息等）、容器执行
子系统
独立负责容器运行时和生命周期

认识docker核心组件--->> containerd和runC - 简书

4 annotations

www.jianshu.com

482

创造知识的知识，叫做元知识
大道至简
颠覆式创新
学知识背后的底层知识
演绎推理，发展出基础学科，推动世界的创新革命
总在用过去的经验指导现在和未来
演绎法是一种逻辑推理过程，通过“大前提+小前提”推出结论

第一性原理：如何一秒钟看清事物的本质

7 annotations

mp.weixin.qq.com

660

RateLimitingQueue
一个 Informer 实例只能监听一种 resource
Shared指的是多个 lister 共享同一个cache
减少了 apiserver 的压力
workqueue 里面
最新的 resourceVersion
k8s REST API
kubectl
client-go

kubernetes 中 informer 的使用 - 简书

9 annotations

www.jianshu.com

477

event-based architecture

Extend Kubernetes via a Shared Informer

1 annotation

gianarb.it

508

config channel, pleg channel, sync channel, housekeeping channel中获取信息
syncLoopIteration会从pleg channel中获取PodLifecycleEvent进行消费
syncLoopIteration进行每次迭代修复
发送到PLE Channel
container runtime中查询属于kubelet管理的containers/sandboxes的信息

Kubelet PLEG源码分析 - WaltonWang's Blog - OSCHINA - 中文开源技术交流社区

5 annotations

my.oschina.net

532

node-status-update-frequency
--manifest-url-header

kubelet | Kubernetes

2 annotations

kubernetes.io

512

traffic shaping
add the bandwidth plugin to your CNI configuration file

Network Plugins | Kubernetes

2 annotations

kubernetes.io

417

Listener

net - The Go Programming Language

1 annotation

golang.org

658

阐述论文的目的及其主要结论

学术论文的摘要与引言区别在哪？ - 知乎

1 annotation

zhuanlan.zhihu.com

649

kubelet和docker的交互简单来说是通过两层gPRC服务来实现的
s.server上的请求映射到s.service上
gRPC服务
连接docker
runtimeService
屏蔽了container的概念
containerRuntime就是负责和容器Runtime进行交互的
kubelet组件如何使用docker

kubelet分析-布布扣-bubuko.com

8 annotations

www.bubuko.com

536

k8s的OSB API实现

PaaS平台的服务目录(二): Service Catalog in K8S/OpenShift Origin - 简书

1 annotation

www.jianshu.com

672

Allocations can't be over-committed
Non-root cgroups can distribute domain resources to their children only when they don't have any processes of their own
Only one process can be migrated on a single write(2) call
use cases where multiple cgroups write to a single inode simultaneously are not supported well
cgroup writeback is implemented on ext2, ext4, btrfs, f2fs, and xfs
per-cgroup dirty memory states
dirty memory ratio
how much the workload is being impacted due to lack of memory
memory.pressure
memory.stat
memory.events
Memory usage hard limit
Memory usage throttle limit
Best-effort memory protection
Protections can be hard guarantees or best effort soft boundaries
Memory is stateful and implements both limit and protection models
cgroup is a mechanism to organize processes hierarchically and distribute system resources along the hierarchy in a controlled and configurable manner
"min" and "max"
weight"
Limits can be over-committed
[0, max] and defaults to "max"
[1, 10000] with the default at 100
absolute resource guarantee
weight based resource distribution
The root cgroup should be exempt from resource control and thus shouldn't have resource control interface files
Consider cgroup namespaces as delegation boundaries
namespace root
all non-root "cgroup.subtree_control" files can only contain controllers which are enabled in the parent's "cgroup.subtree_control" file.
not subject to the no internal process constraint
threaded domain or thread root
The io controller, in conjunction with the memory controller, implements control of page cache writeback IOs
CPU
Memory
IO
PID
Cpuset
Device
RDMA
HugeTLB
Misc
A read-only flat-keyed file
allows to limit the HugeTLB usage per control group
controller limit during page fault
anon_thp

cgroup-v2.rst « admin-guide « Documentation - kernel/git/tj/cgroup.git - cgroup export tree

44 annotations

git.kernel.org

546

Linux 内核开发工作流程被视为软件开发行业黄金标准的原因
思维方式也能让我们很好地服务于任何软件项目
信任的文化
持续改进的文化
并对其进行测试以确保它们能正确集成
持续测试和集成
明确的 commit 日志
永远不要 rebase 公共分支
commit 不能破坏构建
每次commit只能做一件事
1991-2002年
一切都变得很难扩展和跟踪
Linux 具有比世界上任何软件项目都好的工作流程

两个月新增 800000 行代码，Linux 内核维护为什么不会崩？ - 知乎

13 annotations

zhuanlan.zhihu.com

565

代码就是最好的文档

如何高效阅读代码？Linux大神拍了拍你并教给你这三个步骤 - 知乎

1 annotation

zhuanlan.zhihu.com

454

Home - Feishu Docs

1 annotation

bytedance.feishu.cn

517

a load balancer in front of API servers
all API servers in the cluster will be available
only one instance of each of them will be active in the cluster

Set up High-Availability Kubernetes Masters | Kubernetes

3 annotations

kubernetes.io

589

敏捷本身不是项目管理框架，也不是“方法论”。它是一套与产品开发相关的原则和价值，特别是互联网产品经常会采用敏捷的方法来进行开发

敏捷开发和瀑布开发的区别

1 annotation

baijiahao.baidu.com

448

two forms of heartbeats

Nodes | Kubernetes

1 annotation

kubernetes.io

519

块设备的请求队列是非常有限的
CFQ不支持多队列块层特性

(译) io.latency I/O控制器 | 阿里云智能基础软件部-技术博客

2 annotations

kernel.taobao.org

448

maintain continue working well for their users
ensure the services they run
resource utilization
isolate, measure, and control the distribution of resources for a collection of processes on a serve
tools and strategies
Isolating a core workload from background system resource needs
isolate a web server from background system processes
separate time-critical or latency-sensitive work from long-term asynchronous jobs
pseudo-filesystem cgroupfs
cgroup core
subsystem controllers
hierarchy
isolate and protect a system's main workload from widely distributed system binaries and other system services that run on many Facebook hosts

Maximizing Resource Utilization with cgroup2 · cgroup2

13 annotations

facebookmicrosites.github.io

619

多篇并行的过程
记录所找的文章和阅读进度的工具，做好编录工作
保持节奏稳定的持续学习比短期集中精力的高强度更重要
阅读整篇文章
论文主体部分
图片
结论
介绍
作者对于一张可视化图片或者表格花的精力有时甚至超过全篇文字叙述，论文中的图片无疑会成为我们理解文章的钥匙
大致的理解
读标题，摘要，图片

(5 封私信 / 29 条消息) 科研大牛们怎么读文献？ - 知乎

11 annotations

www.zhihu.com

556

多租户场景下多个子集群资源名称冲突
provider状态同步实时性优化
多集群调度器优化
业务有一种类型的业务需要同时发布到多个集群
碎片资源
virtual-kubelet提供了一种抽象能力，通过实现provider，用户就实现了一个虚拟的K8s节点
原生kubectl能力
Service进行跨集群通信的能力
TopologySpreadConstraint
Pod的多集群调度
集群碎片资源整合
上层集群
多个集群的调度管理
基于原生virtual-kubelet开发
tensile-kube连接的集群就是一个大集群
通过virtual-node建立上下层集群之间的连接
Node和Pod的生命周期管控

扩展Kubernetes到无限｜Virtual Kubelet子项目：tensile-kube介绍 - 云+社区 - 腾讯云

17 annotations

cloud.tencent.com

336

先像领导者那样去行动，再像领导者那样去思考
如果你仔细观察不难发现，那些模仿能力强的人一般在事业上比较成功
恰到好处的领导力
领导者转变过程就是考验你能否在权威和亲和之间找到一个平衡点
行动力才有影响力

《能力陷阱》：从单干到带团队如何过渡？三招教你摆脱管理混沌期

5 annotations

www.toutiao.com

438

Raw devices
O_SYNC (and related O_DSYNC), and O_DIRECT
using these functions may not result in system calls
fsync
flushed
fflush(outfp)
Library Buffers
application buffer
non-volatile storage
one or more blocks of memory, or buffers, in the application itself
a volatile write-back cache
own version of a write-back cache called the page cache
data integrity
the path data takes from the application down to the storage

Ensuring data reaches disk [LWN.net]

14 annotations

lwn.net

317

京东如何打造Kubernetes全球最大集群支撑万亿电商交易_Kubernetes中文社区

1 annotation

www.kubernetes.org.cn

530

Note that soft limits take effect over a long period of time, since they involve reclaiming memory for balancing between memory cgroups

3.7. memory Red Hat Enterprise Linux 6 | Red Hat Customer Portal

1 annotation

access.redhat.com

619

GTAGS、GRTAGS、GPATH三个tag数据库文件

vscode搭建linux内核开发环境 - 孟诗远

1 annotation

blog.mxslly.com

395

a resource management runtime
resource contention

A Case for Adaptive Resource Management in Alibaba Datacenter Using Neural Networks | SpringerLink

2 annotations

link.springer.com

575

template:'app/src/page/index.html'
filename:'app/index.html',
html-webpack-plugin

webpack入门之打包html,css,js,img(一) - 甜玉米莱莱 - 博客园

3 annotations

www.cnblogs.com

432

点状的东西被大脑索引是很困难的，但是有逻辑有结构的东西则不同
有逻辑关系的知识，你用的时候才能想起来
大脑是用来思考的，不是用来记忆的。

手把手教你打造一套最牛的知识笔记管理系统！ - 知乎

3 annotations

zhuanlan.zhihu.com

611

数据分析、信号处理和机器学习中的矩阵方法

86岁还在录网课：MIT教授Gilbert Strang最新「线性代数」课程上线 - 知乎

1 annotation

zhuanlan.zhihu.com

624

专注于你的呼吸
改善你专注力的硬核操作
年龄与灰质之间的关系
大脑皮层表面积更大，大脑灰质更厚
皮层越厚，我们学起来越轻松
在学习上可提高你的效率，增加你多任务处理能力，增强记忆力。
真实有效地提升你的专注力
注意力重新拉回到呼吸上
什么也不要想！专注于呼吸
正念的核心理念就是专注于当下

(4 封私信 / 22 条消息) 冥想的具体做法是怎样的？ - 知乎

10 annotations

www.zhihu.com

595

网页版
sci_hub数据库
1. 1 大部分学术类的书籍，一个网站就够了

英文文献(期刊/书籍)搜索及下载方法汇总 - 知乎

3 annotations

zhuanlan.zhihu.com

623

markdown来组织思路和文章结构
Roam Research
Notability
ResearchGate

(4 封私信 / 22 条消息) 有哪些好的科研习惯？ - 知乎

4 annotations

www.zhihu.com

538

runc 必须使用 root 权限启动
config.json的配置文件
rootfs
容器标准包
--add-runtime参数来选择其他的 runC 现
runC 是从 Docker 的 libcontainer 中迁移而来的，实现了容器启停、资源隔离等功能
docker-containerd-shim 子进程，已经是实际在容器中运行的进程
docker-containerd-shim 进程
docker-containerd
Docker daemon
containerd-shim 结合 runC
理论上，即使不运行 dockerd，也能够直接通过 containerd 来管理容器
dockerd
守护进程

Docker、Containerd、RunC...：你应该知道的所有 - InfoQ

14 annotations

www.infoq.cn

413

webpack可以看做是模块打包机，分析项目结构，找到JavaScript模块和一些浏览器不能直接运行的语言，类似Scss,JSX,Typescript等，并将其转换和打包为合适的格式供浏览器使用

webpack npm start和npm run server - 简书

1 annotation

www.jianshu.com

460

颜色或纹理填充对象
颜色取样

PixelStyle功能介绍-Mac苹果图片编辑软件

2 annotations

www.effectmatrix.com

524

native GPU support
ative GPU support
NVIDIA GPUs are now natively supported as devices in the Docker runtime.
Docker 19.03
NVIDIA driver
utilities
a container runtime library
NVIDIA Container Toolkit

NVIDIA/nvidia-docker: Build and run Docker containers leveraging NVIDIA GPUs

8 annotations

github.com

591

a group of machine-sets
VM
template that contains cloud provider specific details
a group of machines

machine-controller-manager/README.md at master · gardener/machine-controller-manager

4 annotations

github.com

653

　居住登记满6个月之后，可以申请办理居住证
居住地所属的社区事物受理中心
居住登记

2020上海居住证办理具体流程- 上海本地宝

3 annotations

sh.bendibao.com

580

VDE (Virtual Distributed Ethernet) networking
UDP Tunnel
Generic networking
Host-only networking
Internal networking
Bridged networking
NAT Network
eight virtual PCI Ethernet cards

Chapter 6. Virtual Networking

8 annotations

www.virtualbox.org

612

服务抽象一直是k8s需要增强的特性，然而这也正是CF所提出的OSB API解决的问题
k8s在设计之初没有考虑过外部服务接入的问题
应用的打包，依赖管理，迁移以及升级都由Docker解决
主流的PaaS平台那样是面向Container
CF在设计之初是面向Application的PaaS
Service Broker处于整个系统的服务抽象层
OSB API可以将任意软件快速集成到CF环境中
开放服务代理协议
开发者以服务的方式按需消费应用所依赖的基础设施软件
PaaS平台以服务的形式来提供
应用托管和迁移的成本
service broker所代理的外部服务

PaaS平台的服务目录(一):Service Broker的前世今生 - 简书

12 annotations

www.jianshu.com

677

133MB/s的带宽
8MB/s的传输率
扩展接口，它主要用于外围设备的连接和扩展，而外围设备吞吐速度的提高，往往会倒推接口速度的提升

深入PCI与PCIe之一：硬件篇 - 知乎

3 annotations

zhuanlan.zhihu.com

414

CPU亲和的内存分配策略
访问其他CPU所关联的内存（下文称Remote Access）的速度相较慢三倍左右
优先尝试在请求线程当前所处的CPU的Local内存上分配空间。如果local内存不足，优先淘汰local内存中无用的Page（Inactive，Unmapped）
NUMA（Non-Uniform Memory Access）
当CPU访问自身直接attach内存对应的物理地址时，才会有较短的响应时间（后称Local Access）
CPU Core都是通过共享一个北桥来读取内存

NUMA架构的CPU -- 你真的用好了么？ • cenalulu's Tech Blog

6 annotations

cenalulu.github.io

396

学习的关键在于稳定和坚持，而不是暴饮暴食
阅读全文，但跳过数学
读什么？怎么找？怎么读
引言，结论，更仔细地阅读图表
标题，摘要，图表

更有效地阅读论文 | 吴恩达 - 知乎

5 annotations

zhuanlan.zhihu.com

469

10255 端口的只读 API
10248 端口的健康检查 API
10250 端口的认证 AP
集群内部可以直接访问 kubelet 的 10255 端口
10250 端口

kubelet · Kubernetes指南

5 annotations

feisky.gitbooks.io

377

解决程序在进行大量I/O操作（如网络通信）时的阻塞问题

linux中的select和epoll模型 - 重复啦 - 博客园

1 annotation

www.cnblogs.com

381

镜像解压缩为一个snapshotter作为即将运行的容器的rootfs

Containerd到底是干啥的？ - Go语言中文网 - Golang中文社区

1 annotation

studygolang.com

342

extract-text-webpack-plugin
style-loader css-loader

webpack入门之打包html,css,js,img(二) - 甜玉米莱莱 - 博客园

2 annotations

www.cnblogs.com

417

Install etcd
To build everything:
make WHAT=cmd/kubectl
up-to-date GNU tools environment

community/development.md at master · kubernetes/community

4 annotations

github.com

307

a memory-intensive process
out-of-the-box improvement over the kernel OOM killer
The kernel OOM handler’s main job is to protect the kernel
oomd
rejects a few and continues to run
Load shedding
oad shedding is a technique to avoid overloading and crashing a system by temporarily rejecting new requests. The idea is that all loads will be better served if the system rejects a few and continues to run, instead of accepting all requests and crashing due to lack of resources. In a recent test, a team at Facebook that runs asynchronous jobs, called Async, used memory pressure as part of a load shedding strategy to reduce the frequency of OOMs. The Async tier runs many short-lived jobs in parallel. Because there was previously no way of knowing how close the system was to invoking the OOM handler, Async hosts experienced excessive OOM kills. Using memory pressure as a proactive indicator of general memory health, Async servers can now estimate, before executing each job, whether the system is likely to have enough memory to run the job to completion. When memory pressure exceeds the specified threshold, the system ignores further requests until conditions stabilize. The chart shows how async responds to changes in memory pressure: when memory.full (in orange) spikes, async sheds jobs back to the async dispatcher, shown by the blue async_execution_decision line. The results were signifcant: Load shedding based on memory pressure decreased memory overflows in the Async tier and increased throughput by 25%. This enabled the Async team to replace larger servers with servers using less memory, while keeping OOMs under control. oomd - memory pressure-based OOM oomd is a new userspace tool similar to the kernel OOM handler, but that uses memory pressure to provide greater control over when processes start getting killed, and which processes are selected. The kernel OOM handler’s main job is to protect the kernel; it’s not concerned with ensuring workload progress or health. Consequently, it’s less than ideal in terms of when and how it operates: It starts killing processes only after failing at multiple attempts to allocate memory, i.e., after a problem is already underway. It selects processes to kill using primitive heuristics, typically killing whichever one frees the most memory. It can fail to start at all when the system is thrashing: memory utilization remains within normal limits, but workloads don't make progress, and the OOM killer never gets invoked to clean up the mess. Lacking knowledge of a process's context or purpose, the OOM killer can even kill vital system processes: When this happens, the system is lost, and the only solution is to reboot, losing whatever was running, and taking tens of minutes to restore the host. Using memory pressure to monitor for memory shortages, oomd can deal more proactively and gracefully with increasing pressure by pausing some tasks to ride out the bump, or by performing a graceful app shutdown with a scheduled restart. In recent tests, oomd was an out-of-the-box improvement over the kernel OOM killer and is now deployed in production on a number of Facebook tiers. Case study: oomd at Facebook See how oomd was deployed in production at Facebook in this case study looking at Facebook's build system, one of the largest services running at Facebook. oomd in the fbtax2 project As discussed previously, the fbtax2 project team prioritized protection of the main workload by using memory.low to soft-guarantee memory to workload.slice, the main workload's cgroup. In this work-conserving model, processes in system.slice could use the memory when the main workload didn't need it. There was a problem though: when a memory-intensive process in system.slice can no longer take memory due to the memory.low protection on workload.slice, the memory contention turns into IO pressure from page faults, which can compromise overall system performance. Because of limits set in system.slice's IO controller (which we'll look at in the next section of this case study) the increased IO pressure causes system.slice to be throttled. The kernel recognizes the slowdown is caused by lack of memory, and memory.pressure rises accordingly. oomd monitors the pressure, and once it exceeds the configured threshold, kills one of the processes—most likely the memory hog in system.slice—and resolves the situation before the excess memory pressure crashes the system. This behavior ← Memory ControllerIO Controller →Memory overcommitPressure-based load sheddingoomd - memory pressure-based OOMCase study: oomd at Facebook
outweigh the overhead of occasional OOM events
demand exceeds the total memory available
Overcommitting on memory—promising more memory for processes than the total system memory—is a key technique for increasing memory utilization

Memory Controller Strategies and Tools · cgroup2

10 annotations

facebookmicrosites.github.io

613

pa = (pte_val(*pte) & PAGE_MASK | (address & ~PAGE_MASK);即得到物理地址

kernelnote

1 annotation

www.kernelnote.com

412

protecting an interactive workload from side-loaded batch workloads
strategy
a transparent and comprehensive resource control framework

fbtax2: Putting it All Together · cgroup2

3 annotations

facebookmicrosites.github.io

436

AAS serves as an excellent safety net for us
Amazon Auto Scaling (AAS)
each step minimized to achieve best performance
predict our capacity needs
clearly spikes and troughs
relatively predictable traffic patterns
scale up — scale down oscillations.
Variable traffic patterns
Rapid spike in demand:
reactive auto scaling model
outages

Scryer: Netflix’s Predictive Auto Scaling Engine | by Netflix Technology Blog | Netflix TechBlog

11 annotations

netflixtechblog.com

394

request per second
user traffic for prediction
Fast Fourier Transformation
augmented linear regression based algorithm

Scryer: Netflix’s Predictive Auto Scaling Engine — Part 2 | by Netflix Technology Blog | Netflix TechBlog

4 annotations

netflixtechblog.com

407

prevent instances of ads overdelivery

Using Kafka Streams API for predictive budgeting | by Pinterest Engineering | Pinterest Engineering Blog | Medium

1 annotation

medium.com

416

进程间高速的共享数据（如mmap）
数据段和堆栈空间，以及通过mmap分配的共享内存，它们在磁盘上找不到对应的文件，所以这部分内存页被叫做anonymous page
后端映射到了磁盘的物理地址
物理资源存放在磁盘上的文件中
标记，用来表示所关联的物理资源类型
延时分配/按需分配
关联的资源
虚拟地址的起始位置，长度，权限
共享内存
只有虚拟地址被分配给进程后，也即进程调用类似malloc函数之后，系统才会为相应的虚拟地址在Page Table中添加记录
page table里面的数据由操作系统维护
CPU需要将虚拟地址转换成物理地址
交换空间只是虚拟内存这张大蓝图中的一部分

(...) Linux内存管理 - Linux程序员 - SegmentFault 思否

13 annotations

segmentfault.com

392

内核负责轮询所有socket

从操作系统层面理解Linux下的网络IO模型 - 宜信技术学院的个人空间 - OSCHINA

1 annotation

my.oschina.net

437

mmap加速内核与用户空间的消息传递
fd上面的callback函数实现的
遍历所有的文件描述符(fd)

linux select/epoll - 简书

3 annotations

www.jianshu.com

354

减少变换索引缓冲（translation lookaside buffer, TLB）的失败次数来提高性能。
大内存页的大小是 4 MB，或者，在物理地址扩展（PAE）打开的系统上是 2 MB
PDBR

cgroup其他部分 IO + hugepage - 云+社区 - 腾讯云

3 annotations

cloud.tencent.com

430

THP 目前只能映射异步内存区域，比如堆和栈空间

Linux传统Huge Pages与Transparent Huge Pages再次学习总结 - 潇湘隐者 - 博客园

1 annotation

www.cnblogs.com

394

pre-allocated huge pages configured on the node
usage of pre-allocated huge pages instead of THP
2Mi and 1Gi.
Since the size of the TLB is fixed, the only way to reduce the chance of a TLB miss is to increase the page size

enhancements/20190129-hugepages.md at master · kubernetes/enhancements

4 annotations

github.com

397

Huge pages 和 Transparent Huge pages 在大页内存的使用方式上存在区别，前者是预分配的方式，而后者则是动态分配的方式，显然后者更适合程序使用

Linux 操作系统原理 — 内存 — 大页内存 - osc_6mbnx553的个人空间 - OSCHINA

1 annotation

my.oschina.net

384

频发的core dump很容易快速写满宿主机的存储，并且会导致高磁盘IO
IO Cache
服务画像的资源分配，对不同服务的容器设定不同的资源限制，除了常见的CPU、内存外，还有IO的限制、ulimit限制、PID限制等等。所以我们扩展了K8s来完成这些工作
Cache的数据写到磁盘的速率受容器Cgroup IO配置的限制
Buffer IO共享一个内核缓存，并且缓存不隔离，没有速率限制，导致高IO容器很容易影响同主机上的其他容器
Direct IO和Buffered IO
跨Node访问内存对应用性能的影响比较大
分配一些对CPU不敏感的服务容器跨Node使用CPU资源

美团容器平台架构及容器技术实践_Kubernetes中文社区

8 annotations

www.kubernetes.org.cn

390

谷歌进行了很多尝试，积累了大量经验。Kubernetes 项目的目的就是将 Borg 最精华的部分提取出来，使现在的开发者能够更简单、直接地应用。它以 Borg 为灵感，但又没那么复杂和功能全面，更强调了模块性和可理解性

谷歌的容器之路：从Borg到Kubernetes - InfoQ

1 annotation

www.infoq.cn

408

宿主机的发生重启是一种非常常见的场景
策略引擎，业务可以对自己的应用APPKEY自定义录入策略需求
打散策略
保持Kubernetes的原生兼容性
环境不一致问题是容器镜像出现之前业界的通用问题
OpenStack的整个架构中计算资源的管理模块是非常庞大和复杂
虚拟化本身大概占用10%的宿主机资源消耗

Kubernetes如何改变美团的云基础设施？ - 美团技术团队

7 annotations

tech.meituan.com

377

io.latency
You protect workloads with io.latency by specifying a latency target (e.g., 20ms). If the protected workload experiences average completion latency longer than its latency target value, the controller throttles any peers that have a more relaxed latency target than the protected workload. The delta between the prioritized cgroup's target and the targets of other cgroups is used to determine how hard the other cgroups are throttled: If a cgroup with io.latency set to 20ms is prioritized, cgroups with latency targets <= 20ms will never be throttled, while a cgroup with 50ms will get throttled harder than a cgroup with a 30ms target. Interface The interface for io.latency is in a format similar to the other controllers: MAJOR:MINOR target=<target time in microseconds> When io.latency is enabled, you'll see additional stats in io.stat: depth=<integer>—The current queue depth for the group. avg_lat=<time in microseconds>—The running average IO latency for this group. This provides a general idea of the overall latency you can expect for this workload on the specified disk. Note: All cgroup knobs can be configured through systemd. See the systemd.resource-control documentation for details. Using io.latency The limits are applied only at the peer level in the hierarchy. This means that in the diagram below, only groups A, B, and C will influence each other, and groups D and F will influence each other. Group G will influence nobody. Thus, a common way to configure this is to set io.latency in groups A, B, and C. Configuration strategies Generally you don't want to set a value lower than the latency your device supports. Experiment to find the value that works best for your workload: Start at higher than the expected latency for your device, and watch the avg_lat value in io.stat for your workload group to get an idea of the latency during normal operation. Use this value as a basis for your real setting: Try setting it, for example, around 20% higher than the value in io.stat. Experimentation is key here since avg_lat is a running average and subject to statistical anomalies. Setting too tight of a control (i.e., too low of a latency target) provides greater protection to a workload, but it can come at the expense of overall system IO overhead if other workloads get throttled prematurely. Another important factor is that hard disk IO latency can fluctuate greatly: If the latency target is too low, other workloads can get throttled due to normal latency fluctuations, again leading to sub-optimal IO control. Thus, in most cases then, you'll want to set the latency target higher than expected latency to avoid unnecessary throttling—the only question is by how much. Two general approaches have proven most effective: Setting io.latency higher (20-25%) than the usual expected latency. TThis provides a tighter protection guarantee for the workload. However, the tighter control can sometimes mean the system pays more in terms of IO overhead, which leads to lower system-wide IO utilization. A setting like this can be effective for systems with SSDs. Setting io.latency to several times higher than the usual expected latency, especially for hard disks. A hard disk's usual uncontended completion latencies are between 7 and 20ms, but when contention occurs, the completion latency balloons quickly, easily reaching 10 times normal. Because the latency is so volatile, workloads running on hard disks are usually not sensitive to small swings in completion latency; things break down only in extreme conditions when latency jumps several times higher (which isn't difficult to trigger). Effective protection can be achieved in cases like this by setting a relaxed target on the protected group (e.g., 50 or 75ms), and a higher setting for lower priority groups (e.g., an additional 25ms over the higher priority group). This way, the workload can have reasonable protection without significantly compromising hard disk utilization by triggering throttling when it's not necessary. How throttling works io.latency is work conserving: as long as everybody's meeting their latency target, the controller doesn't do anything. Once a group starts missing its target it begins throttling any peer group that has a higher target than itself. This throttling takes two forms: Queue depth throttling—This is the number of outstanding IO's a group is allowed to have. The controller will clamp down relatively quickly, starting at no limit and going all the way down to 1 IO at a time. Artificial delay induction—There are certain types of IO that can't be throttled without possibly affecting higher priority groups adversely. This includes swapping and metadata IO. These types of IO are allowed to occur normally, but they are "charged" to the originating group. Once the victimized group starts meeting its latency target again, it will start unthrottling any peer groups that were throttled previously. If the victimized group simply stops doing IO the global counter will unthrottle appropriately. fbtax2 IO controller configuration As discussed previously, the goal of the fbtax2 cgroup hierarchy was to protect workload.slice. In addition to the memory controller settings, the team found that IO protections were also necessary to make it all work. When memory pressure increases, it often translates into IO pressure. Memory pressure leads to page evictions: the higher the memory pressure, the more page evictions and re-faults, and therefore more IOs. It isn’t hard to generate memory pressure high enough to saturate a disk with IOs, especially the rotating hard disks that were used on the machines in the fbtax2 project. To correct for this, the team used a strategy similar to strategy 2 described above: they prioritized workload.slice by setting its io.latency to higher than expected, to 50ms. This provides more protection for workload.slice than for system.slice, whose io.latency is set to 75ms. When workload.slice has been delayed by lack of IO past its 50ms threshold, it gets IO priority: the kernel limits IO from system.slice and reallocates it to workload.slice so the main workload can keep running. hostcritical.slice was given a similar level of protection as workload.slice since any problems there can also impact the main workload. In this case it used memory.min to guarantee it will have enough to keep running. Though they knew system.slice needed lower IO priority, the team determined the 75ms number through trial and error, modifying it repeatedly until they achieved the right balance between protecting the main workload and ensuring the stability of system.slice. In the final installment of this case study, we'll summarize the strategies used in the fbtax2 project, and look at some of the utilization gains that resulted in Facebook's server farms. ← Memory Controller Strategies and ToolsCPU Controller →cgroup2 IO controller enhancementsInterface filesProtecting workloads with io.latencyInterfaceUsing io.latencyConfiguration strategiesHow throttling works
This is where you specify IO limits
O
accounting of all IOs per-cgroup
IOPS
system has the flexibility to limit IO to low priority workloads

IO Controller · cgroup2

7 annotations

facebookmicrosites.github.io

352

pressure for workload.slice (orange line) stayed under 10%,
accumulated microseconds
pressure stall information
detect resource shortages
memory, CPU, and IO.
resource pressure
Pressure Stall Information (PSI)
fair warning of impending resource shortages
two metrics: some and full.
10 seconds, 1 minute, and 5 minutes
walltime

PSI Pressure Metrics · cgroup2

11 annotations

facebookmicrosites.github.io

376

集中的策略管理和实施
策略管理

Kubernetes治理，你应该知道的 - 云+社区 - 腾讯云

2 annotations

cloud.tencent.com

671

RESTful controllers
flow of the application
Anything you intend to do well must first be planned well

Project program · Build web application with Golang

3 annotations

astaxie.gitbooks.io

667

CRI-O/Crictl does not know about containers created by Podman
Podman cannot list containers created by CRI-O
Podman can still examine the state of containers and images on your system.
backend datastores
OCI-based container
these tools are complementary
Podman does NOT speak CRI

Crictl Vs Podman

7 annotations

www.openshift.com

627

avoid the integration between graph drivers and the tar format used to represent the changesets.
an API for the base snapshotting
graphdriver
graphdriver informs the transport of image formats.
mount-oriented snapshot
API for allocating, snapshotting and mounting abstract, layer-based filesystems
A Snapshot represents a filesystem state

containerd/snapshots.md at master · containerd/containerd

7 annotations

github.com

583

originnal_opcode刚一执行，便会二进宫：再次陷入异常态
插入点处本来的指令
pre_handler
异常(BRK)指令

kprobe原理解析（二） - honpey - 博客园

4 annotations

www.cnblogs.com

381

核心竞争力
优势、劣势、机会和威胁

2017.2.16 《如何高效读懂一本书》 - 简书

2 annotations

www.jianshu.com

557

containerd docs – Getting started with containerd

containerd.io

574

process can be in only one cgroup at a time
only the root cgroup exists, to which all processes belong
cgroup.controllers
cgroup.subtree_control
descendant cgroups;

Creating and organizing cgroups · cgroup2

5 annotations

facebookmicrosites.github.io

624

find optimal settings for memory.low
a few different memory controller configurations
minimum amount of memory the cgroup must always retain
best-effort memory protection
memory.high
memory usage hard limit
OOM killer is invoked on the cgroup
system OOM killer will be invoked
Shows the total amount of memory currently being
page cache
in-kernel data structures
pressure thresholds

Memory Controller · cgroup2

12 annotations

facebookmicrosites.github.io

312

Scheduling
Isolation

gpushare-scheduler-extender/designs.md at master · AliyunContainerService/gpushare-scheduler-extender

2 annotations

github.com

628

Adapter 将输入的数据适配为 BC 内部服务所需的数据对象
「防腐层」对外提供了基于 Facade 模式的粗粒度接口
BC 的划分不仅需要系统分析与架构的知识
软件架构往往受到「康威定理」的影响
从业务的角度出发，对系统进行某种维度的拆分
系统代码不仅应该在架构层次进行划分，以区分不同抽象层次以及功

DDD 实践手册(6. Bounded Context - 限界上下文) - InfoQ 写作平台

6 annotations

xie.infoq.cn

671

operational insight applications
ad-hoc exploration
tens of minutes to a few seconds
Mean-Time-To-Detect
realtime nature
rich and relevant context
anomalies
trigger and alert relevant teams within seconds
early warning indicator
identifies negative impact on the viewing experience with fine-grained granularity
several critical operational insight applications
as much context
derive new insights with this data
rigor
ahead of time
without having to add new instrumentation to your applications
ask new questions
one at a time
access these events in realtime
data in its original form is already lost
We should have access to raw events
minimize the costs of observing and operating
detrimental
streaming-based observability on events
better understand the behavior
on-demand
Cost-Effective
tap into an event stream from any instrumented application
democratization
The traditional way of working with metrics and logs alone is not sufficient for large-scale and growing systems
minimize the costs of observing and operating complex distributed systems
streaming microservices ecosystem
Platform
Platform

Open Sourcing Mantis: A Platform For Building Cost-Effective, Realtime, Operations-Focused Applications

34 annotations

netflixtechblog.com

526

Intel SGX的可信加密沙箱容器
基于轻量虚拟化的runV沙箱容器
containerd已经成为容器运行时的主流实现
crictl 对pods进行操作
namespaces
Pod声明中的 ”runtimeClassName“
minikube 对 gvisor
registry-mirror
支持Docker/Containerd等不同容器运行时
阿里云的镜像地址来获取所需Docker镜像和配置
containerd作为Kubernetes容器运行时的最简单方式
containerd提供了灵活的扩展机制
containerd与完整Docker Engine相比，具有更少的资源占用和更快的启动速度。
containerd作为容器生命周期管理的基础

containerd与安全沙箱的Kubernetes初体验 - 知乎

14 annotations

zhuanlan.zhihu.com

539

标准化各种基础框架
制定合理有效的流程规范
除了专业技能就是管理，所以别以为管理与架构师绝缘
管理要做的只有一件事，就是如何对抗熵增
技术服你，业务认你的时候你的架构决策当然会推行的比较顺利
忌权威效应
看到了很多钉子的时候务必按耐住，找到最突出的几颗敲
以此为基础做出更多的沉淀、抽象、复用、创新、升级
技术成本 vs 技术收益
成本意识的可能是CTO
架构师就是指方向的关键人
从来都不是拍脑袋选的，而是基于用户和市场做出的当下最合理准确的判断
业务团队更快更好的交付价值而努力
技术驱动的创业公司，大多是还没找到自己的盈利点的
忌脱离业务
架构师动不动翻车被打脸也不算什么稀罕事，只是好不容易累积的那点权威分分钟被挥霍掉
一个普通甚至不及格的团队才能如实体现架构师的领导能力。这时架构师要做的不是“降维”攻击，而是“降维”思考
丹青栩栩
妙码生花

架构师那些不能碰的禁忌 - InfoQ 写作平台

19 annotations

xie.infoq.cn

351

固定大小的连续Page，通常为4K
映射层
通用块层
IO调度层
整个文件系统的元信息
文件的元数据，比如大小、最后修改时间、权限等
目录项，由于每一个文件必定存在于某个目录内，我们通过路径查找一个文件时，最终肯定找到某个目录项
VFS把所有的dentry放在dentry_hashtable哈希表里面，使用LRU淘汰算法
用户程序能接触的VFS对象只有file，由进程管理。我们常用的打开一个文件就是创建一个file对象，并返回一个文件描述符
fd_array
read、write系统调用实际上是对vfs_read、vfs_write的一个封装
XFS
内核提供的通用函数上
异步IO
xfs_file_aio_read函数，对应于块设备文件就是blkdev_aio_read函数
每个磁盘都建立一个线程，负责每个磁盘的刷盘
如果inode类型为普通文件的话
如果inode类型为块设备文件的话
mmap直接把PageCache映射到用户态，少了一次系统调用，也少了一次数据在用户态和内核态的拷贝。
Linux内核为每一个块设备维护了一个IO队列
映射层
内核确定该文件所在文件系统或者块设备的块大小，并根据文件大小计算所请求数据的长度以及所在的逻辑块号
通用块层以及之后的的IO都必须是块大小对齐的

浅谈Linux内核IO体系之磁盘IO - 知乎

23 annotations

zhuanlan.zhihu.com

390

eBPF，这减少了许多低级系统操作对内核模块的需求
强制模式使用安全性增强的Linux
容器化工作负载

亚马逊正式发布Bottlerocket容器Linux发行版

3 annotations

www.toutiao.com

396

SLAB的着色问题，一般书上讲的都比较简单，就是说解决cache缓存行冲突的问题
驱动程序设计和内核模块设计的过程中，经常会用的kmalloc

也谈谈这四年来对内核的研究 - 内核源码-Chinaunix

2 annotations

bbs.chinaunix.net

467

(4 封私信 / 12 条消息) 首页 - 知乎

www.zhihu.com

363

冥想，或者洗个热水澡，放点舒缓的音乐
好好放松你的大脑，让它得到充足的休息
顾名思义，不能有丝毫放松，时刻保持高度集中。这时候一定要把所有干扰排除干净，准备一个好的罐子，剩下的就开始闷头学习吧。
一个成年人的极限专注时间是90分钟
有间隔的练习，穿插安排其他的学习内容
一天连续学10个小时，效果比不上10个断开学的1小时
心锚
培养读书的习惯
将它们从大脑中擦除，既保留了想法，又让大部分注意力留在了学习上
把你的想法先写在纸上
突然脑子里蹦出学习外的想法，如果不能立刻去完成它，大脑就因为害怕丢失而躁动不安，为了缓解这种不安，它就会主动将大量注意力转移过去，也就是走神
专注就是注意力越聚焦越好。
避免多任务切换
和谐的「良性压力」
想要改变现状，千万不要把自己逼得太紧，「过于用力」只会适得其反。
专注时每被打断1次，就需要至少15分钟恢复到原来的专注程度
5分钟，立马就能整理出一个整洁的桌面。
保证桌面的整洁,过多杂物会悄无声息的夺走注意力
罐子工作法
降低外压的环境，减少无意义的内耗，避免精力分散
学霸都是一次只会专注做一件事情
我们的大脑是可修正的。好习惯可以塑造得更好，坏习惯可以让它逐渐消失掉。
神经有可塑性，它们是会改变的

(4 封私信 / 12 条消息) 怎么才能心无旁骛地学习？ - 知乎

23 annotations

www.zhihu.com

352

sqlmock
https://github.com/vektra/mockery
简洁意味着独立
每个图层都将通过inteface进行通信
REST API、HTML或gRPC

尝试Golang的简洁架构（解耦、可测试、简洁） - 简书

5 annotations

www.jianshu.com

357

负载均衡器 Porter

Porter 进入 CNCF 云原生全景图，新版本即将发布！_Kubernetes中文社区

1 annotation

www.kubernetes.org.cn

386

GPU 拓扑、CPU 亲和性等硬件属性来提高性能
数据共享
资源管理、环境管理
减少重复、提高效率
大同小异
技术选型
平台所要解决的问题
运行环境
复用性和规模化能力
Notebook、Jupyter 的交互接口
Yarn 做了扩展以支持 GPU 资源维度
Caffe、TensorFlow、PyTorch
避免重复性
资源统一管理
GPU 的服务器选型

滴滴机器学习平台架构演进 - InfoQ

15 annotations

www.infoq.cn

653

attach eBPF programs to userspace functions
attach eBPF programs to kernel functions
blk_start_request
a BPF hash (which the program uses to keep track of when the request starts / finishes)
bytecode language into native code
own bytecode language
can’t access arbitrary kernel memory
filtering algorithms people were using were inefficient
copy all the packets into userspace
bpf syscall
communicate with userspace programs through BPF maps
run in the kernel
100-200 CPU instructions
BPF bytecode program into native code
BPF virtual machine
BPF bytecode
TCP port
figure out the length of the IP header
packets are just arrays of bytes
CFG
copy all the packets

Notes on BPF & eBPF

21 annotations

jvns.ca

459

@vue/cli

安装 | Vue CLI

1 annotation

cli.vuejs.org

514

Linux-specific configuration

runtime-spec/config.md at master · opencontainers/runtime-spec

1 annotation

github.com

343

linux/read_write.c at v4.16 · torvalds/linux

github.com

333

generic controllers
planning and design stage of building a web framework

Build a web framework · Build web application with Golang

2 annotations

astaxie.gitbooks.io

568

可以根据本地的文件结构用相对路径来引用静态资源

CSS 相关 | Vue CLI

1 annotation

cli.vuejs.org

419

Certificate authorities

Public key infrastructure - Wikipedia

1 annotation

en.wikipedia.org

314

ResourceQuota
medium
huge pages do not support overcommit
discover and report all huge page resources as schedulable resources
pre-allocate huge pages for multiple sizes
huge page capacity
pre-allocate huge pages

Manage HugePages | Kubernetes

7 annotations

kubernetes.io

372

请求数据、模型、持久数据和以最快的速度执行的绑定

MVC · Go Web Iris中文网

1 annotation

studyiris.com

510

读取100列中的5列，这将帮助你最少减少20倍的I/O消耗。
分析
每秒数百个查询或更少
宽表
少量的列
大量的行
不修改已添加的数据
相当大的批(> 1000 rows)进行写入
大多数是读请求
列式数据库总是将同一列的数据存储在一起，不同列的数据也总是分开存储
联机分析(OLAP)的列式数据库管理系统(DBMS)

什么是ClickHouse？ | ClickHouse文档

11 annotations

clickhouse.tech

396

operators use the systemd cgroup driver provided by the docker runtime

Reserve Compute Resources for System Daemons | Kubernetes

1 annotation

kubernetes.io

428

runtime handler

cri-tools/crictl.md at master · kubernetes-sigs/cri-tools

1 annotation

github.com

566

IPFS 其实就是一种 BitTorrent 协议，开发团队对 BitTorrent 协议稍微升级了一下
IPFS 技术就把文件打碎，分散地存储在不同的硬盘里，下载的时候，再从这些散落在全球各地的硬盘里读取
IPFS 的想法，就是让文件分布式存储和读取

来看看你对 IPFS 到底误解有多深！

3 annotations

baijiahao.baidu.com

521

its current cgroups directories become the cgroup root directories of the new namespace

cgroup_namespaces(7) - Linux manual page

1 annotation

man7.org

368

apiserver
StaticPodURL
StaticPodPath

深入分析kubelet（1）——获取Pod创建请求 - 简书

3 annotations

www.jianshu.com

600

memory.soft_limit_in_bytes #设置/显示当前限制的内存软额度
memory.limit_in_bytes #设置/显示当前限制的内存额度
写文件memory.limit_in_bytes就可以
memory.oom_control
暂停该进程直到有空余的内存之后再继续运行
soft limit
那么当系统内存吃紧时，系统会让超过soft limit的cgroup释放出超过soft limit的那部分内存

(...) Linux Cgroup系列（04）：限制cgroup的内存使用（subsystem之memory） - Linux程序员 - SegmentFault 思否

7 annotations

segmentfault.com

300

Skunkworks

Netflix-Skunkworks

1 annotation

github.com

362

Add support for cgroups v2 to the Kubelet
Expose new cgroup2-only features
Dockershim
Plugins support
features parity between cgroup v2 and v1
run on a host using either cgroups v1 or v2
OCI runtime specifications
Device plugins that require v2 enablement
support features only available in cgroups v2 but not in cgroups v1, the OCI runtime specs must be changed
dockershim implementation embedded in the Kubelet
crun
runc support for cgroups v2
cAdvisor already supports cgroups v2
CPU stats
CPU pinning
different naming
same naming
hugetlb
Privileged pods will still use the host cgroup namespace so to have visibility on all the other cgroups
any configuration file designed for cgroups v1 will continue to work on cgroups v2
changes through the entire stack

enhancements/20191118-cgroups-v2.md at master · kubernetes/enhancements

21 annotations

github.com

300

线程controller
线程模式（THREAD MODE）
授予非特权用户管理权限
cgroup v2，要用监控cgroup.events文件的方式感知cgroup的变化。
cpu、cpuacct 的继任者
memory 的继任者
blkio 的继任者
rdma
hugetlb
cpuacct
threaded cgroup ，称呼为“ 线程子目录
domain cgroup ，称呼为“ 进程(子)目录 ”
一句话介绍cgroup：把一个cgroup目录中的资源划分给它的子目录，子目录可以把资源继续划分给它的子目录，为子目录分配的资源之和不能超过父目录，进程或者线程可以使用的资源受到它们委身的目录的限制。

Linux的资源限制功能cgroups v1和cgroups v2的详细介绍 | 码农网

13 annotations

www.codercto.com

281

filter packages to specific import path prefixes
group functions by package
methods by type
concurrent arrow with circle
deferred arrow with diamond
dynamic dashed line

ofabry/go-callvis: Visualize call graph of a Go program using dot (Graphviz)

6 annotations

github.com

506

社区版本是通过驱除掉Pod的方式去完成垂直伸缩

庄鹏锐：腾讯云Kubernetes集群提升资源利用率的实践 - 云+社区 - 腾讯云

1 annotation

cloud.tencent.com

414

观察路口信号灯当直行车道信号灯绿灯时将车并入左转弯等待区
打开左转向灯观察左右情
30km/h以下变换挡位至2挡以下
打开右转向灯保持转向灯亮三秒以

视频教学 | 科目三路口左、右转弯操作步骤 - 知乎

4 annotations

zhuanlan.zhihu.com

415

提前打好右转向灯。同时减速

科目三右转弯难控方向，教练实拍图解，掌握3条重点轻松过关！ - 知乎

1 annotation

zhuanlan.zhihu.com

400

facilitate communication with the Kubernetes controllers
helper containers
CSI volume driver

community/container-storage-interface.md at master · kubernetes/community

3 annotations

github.com

386

V2相对于V1，规则发生了一些变化。每个控制组（control group）都有一个cgroup.controllers文件，列出子group可以开启的controller。另外，还有一个 cgroup.subtree_control文件，用于控制开启/关闭子group的controller。
只有叶子控制组才能对进程进行资源控制
memcg

可能是最好的中文cgroup v2文章： Cgroup V2 and writeback support-电子头条-EEWORLD电子工程世界

3 annotations

news.eeworld.com.cn

407

cgroup namespace成为授权边界
授予方法很简单，直接将一些文件或目录的所有者改成被授权人就可以了

Linux的cgroup功能（二）：资源限制cgroup v1和cgroup v2的详细介绍@小鸟技术笔记

2 annotations

www.lijiaocn.com

382

inode number

(...) Linux Namespace系列（01）：Namespace概述 - Linux程序员 - SegmentFault 思否

1 annotation

segmentfault.com

351

确认安全后，解除安全带，下车关门
挂空档，拉手刹，抬离合，关闭右转向灯，完成停车动作
踩离合，踩刹车，停稳车
停留3秒以上，如果转向灯回弹，记得再次拨上
右转向灯
先踩刹车减速，将速度降到10km/h以下，然后，踩离合换一档

(2 封私信 / 12 条消息) 可以说说科目三靠边停车怎样才能停满分吗？ - 知乎

6 annotations

www.zhihu.com

444

虽然Linux中的非特权用户可以在用户名空间中创建网络名空间，并且执行iptables规则管理和tcpdump等操作
sudoers 组
kihiro 利用用户态的网络“SLiRP”，通过一个TAP设备连接到非特权用户名空间
--userns-remap
root用户uid/gid映射到宿主机的非特权用户范围内
由于Linux需要特权用户来创建namespace，挂载分层文件系统等，所以 Docker Daemon 一直以来是以root用户来运行的

容器安全拾遗 - Rootless Container初探_Docker

6 annotations

www.sohu.com

598

root certificate

Controlling Access to the Kubernetes API | Kubernetes

1 annotation

kubernetes.io

403

Creating an OCI Bundle
Support for cgroup v2

opencontainers/runc: CLI tool for spawning and running containers according to the OCI specification

2 annotations

github.com

638

唯一一个拥有MVC架构模式丰富支持的Go Web框架，性能成本接近于零
简单而强大的api而闻名

Go Iris中文文档 · Go Web Iris中文网

2 annotations

studyiris.com

542

Gradle解包后的本地存储路径
设置Gradle属性文件的distributionUrl属性
Wrapper Task
指定版本的Gradle没有被下载关联，会先从Gradle官方仓库下载该版本Gradle到用户本地
Gradle Wrapper，它是一个脚本，可以在计算机没有安装Gradle的情况下运行Gradle构建，并且能够指定Gradle的版本

Gradle之Gradle Wrapper（四） - 简书

5 annotations

www.jianshu.com

427

Node Authorization
PKI certificates for authentication over TLS
You can create a single root CA, controlled by an administrator. This root CA can then create multiple intermediate CAs,
system:node:<nodeName> (see note)
system:nodes

PKI certificates and requirements | Kubernetes

5 annotations

kubernetes.io

452

exposing their internal objects as the external API
virtual nodes in Azure Kubernetes
API part of K8s is pretty thin
14+ years of features that are custom built for search, ads, Gmail
multi-cluster is hot hot hot
Networks and storag
computing infrastructure
Kubernetes v1.0 was released in 2015
favourite container orchestrator

Microsoft is not the enemy, why Google still runs 'Borg', and other insights from Kubernetes founders • The Register

9 annotations

www.theregister.com

415

each workload can have custom protection rules
killing offending processes

Overview of oomd · oomd

2 annotations

facebookmicrosites.github.io

385

tens of minutes to just seconds
the unexpected server reboot rate dropped from 5% to less than 0.5%
kills the entire cgroup
watch per-job cgroups
kill an entire build job
free the tmpfs space
n-memory temporary filesystem
jobs were getting repeatedly OOM-

oomd at Facebook · oomd

8 annotations

facebookmicrosites.github.io

438

memory priority and protection
workload.slice is given resource priority at the expense of slowdowns in system.slice

PSI Pressure Metrics · cgroup2

2 annotations

facebookmicrosites.github.io

370

decreased memory overflows
proactive indicator of general memory health
memory pressure as part of a load shedding strategy

Memory Controller Strategies and Tools · cgroup2

3 annotations

facebookmicrosites.github.io

351

组合和锁定：组合：可以把多个元素组合在一起，方便操作和改样式
填充和边框
元素图形大小、颜色和位置以及对齐方式

欢迎使用ProcessOn在线做图工具 - Feishu Docs

3 annotations

bytedance.feishu.cn

414

router rule for the "/" path
Well, its the router variable which can call handler functions for specific URLs
creates a new connection
accepts a request
TCP listener
requests
a listening socket

How Go works with web · Build web application with Golang

7 annotations

astaxie.gitbooks.io

623

过往的业务模型，产品能力很有可能没法完全承接住大规模用户增长带来的压力
大多数提出中台战略或是建设大中台的公司
业务层面，数据层面和技术底层
复用
解耦
更好的服务前台规模化创新
所谓“中台”，其实是为前台而生的平台
每款游戏的详细数据
细胞”(cell)
中台的“玩法”，并将其运用到了极致
强大的技术平台
大中台，小前台

“中台”到底是什么？ - 知乎

12 annotations

zhuanlan.zhihu.com

597

cumulative time
some (one or more) tasks
microseconds
a loss of overall throughput
The full metric indicates the percentage of time in which all tasks were delayed by lack of resources
s
some is indicative of added latency due to lack of resources

Getting Started with PSI · PSI

7 annotations

facebookmicrosites.github.io

461

If the service name is not registered, the server returns a NOT_FOUND GRPC status

grpc/health-checking.md at v1.15.0 · grpc/grpc

1 annotation

github.com

628

Mantis Runtime
resource manager for scheduling Job tasks is Mesos.

Infrastructure Overview - Mantis

2 annotations

netflix.github.io

636

time for pulling accounts for 76% of container startup time

Support remote snapshotter to speed up image pulling · Issue #3731 · containerd/containerd

1 annotation

github.com

396

cgroup v2 一个大的特性就是可以用非 root 用户操作资源限制

kubernetes 中的增强特性(Kubernetes Enhancement Proposal) - 云+社区 - 腾讯云

1 annotation

cloud.tencent.com

437

perf core and uncore event monitoring
hugetlb container metrics
resource control
socket id to numa topology

Release v0.37.0 · google/cadvisor

4 annotations

github.com

439

monitor and reap the actual container process
With shimv2, Kubernetes can launch Pod and OCI compatible containers with one shim
QEMU*/KVM virtual machine for each container or pod

documentation/architecture.md at master · kata-containers/documentation

3 annotations

github.com

415

最高允许的驱逐率SLO，以保护重要的任务免于过于频繁地被驱逐
驱逐
完成
失败
不成功的作业终止
2％的集合是分配集
作业
分配集
两者利用率不足和过度使用的计算机
CPU利用率> 80％的计算机比2011年少。综上所述，这意味着Borg调度程序在2019年的要比2011年更好
CCDF
统计复用
请求的限制（上限
监控层
中层
免费套餐
尽力而为
尽力而为
每个小时的平均计算和内存使用情况
时间序列集合
互补累积分布函数
动态调整其资源限制
Borg现在支持多个调度程序，包括一个批处理调度程序，该批处理调度程序通过将作业排队直到单元可以处理它们来管理总的批处理作业工作量以提高吞吐量，然后将作业交给常规的Borg调度程序
负载更加均衡是保障应用稳定性的关键因素
1%的大作业占用了99%的资源
服务类型
应用性质
应用特征
资源特征
垂直缩放的价值
资源分配具有弹性
数据涵盖了2019年5月的8个不同的Borg集群
纵向比较
此类系统的工作负载如何随时间变化，以及集群管理器的变化如何影响调度决策

Next Borg：谷歌新一代Borg系统

34 annotations

mp.weixin.qq.com

431

CGroup Hierarchy

[WIP]Kubernetes 适配 Cgroup v2 推进 - Feishu Docs

1 annotation

bytedance.feishu.cn

344

一个人被组织提拔，其实不是因为能力，而是因为信任
沟通协调能力和做事靠不靠谱
技术能力强、业务熟练、软性素质达标
技术、管理、业务
基本盘

我，程序员，32岁，距离退休，只剩3年了！ - InfoQ

5 annotations

www.infoq.cn

378

QoS classes to make decisions about scheduling and evicting Pods

Configure Quality of Service for Pods | Kubernetes

1 annotation

kubernetes.io

597

airpods怎么查激活日期_查询序列号_智能家

www.znj.com

565

ecosystem continues to grow both in volume and diversity
device characteristics
network behavior interact
change to the app or backend servers
Detecting Performance Anomalies
control sample
population of the same devices
geographic region
a random subsample of the control sample
geographic region
treatment sample distribution
methodology
Jigsaw
Monte Carlo
a matched control sample
data sparsity issues
metric distributions
matched control
treatment sample
reatment samples
treatment samples,
a change
0.5%
Comparing metrics between two web browser software versions or operating system versions
understand the effects of in-field software changes on performance metrics
best possible experience
Through being proactive rather than reacting to issues
Together
biased treatment populations
geographic dimensions
Monte Carlo matching procedure

Detecting Performance Anomalies in External Firmware Deployments | by Netflix Technology Blog | Netflix TechBlog

31 annotations

netflixtechblog.com

386

构建过程中，资源链接会被自动注入

HTML 和静态资源 | Vue CLI

1 annotation

cli.vuejs.org

458

stargz.index.json
Lazy-pulling是指在镜像拉取彻底完成之前启动容器
cgroup v2的最大优势在于无需root权限即可实现安全配置
SELinux MCS

containerd 1.4最新功能特性一览_SELinux

4 annotations

www.sohu.com

585

Snapshotter 以父-子关系的工作模式创建变化的集合
snapshots 服务是在为容器运行时提供需要的 rootfs 以及相关的操作
已提交态快照作为"父"创建一个新快照
兼容了块设备快照与 overlay 文件系统

Containerd Snapshot 服务 - 简书

4 annotations

www.jianshu.com

594

Pulling an Image Manifest
Docker Registry HTTP API V2.
a set of changes to the Docker image format
reduce bandwidth usage
decrease the likelihood of backend corruption
URL layout and protocols of the interaction between docker registry and docker core
leveraging namespaces
path components
content addressability. T
An “image” is a combination of a JSON manifest and individual layer files
these two components
retrieve the manifest.
separated by a forward slash
total length of a repository name
json response body
code
m
message f
detail field
concept of a content addressable identifie
a digest
digest := algorithm ":" hex
including digest
Layers are stored in as blobs in the V2 registry API, keyed by their digest
GET /v2/<name>/manifests/<reference>
a tag or digest.
GET /v2/<name>/blobs/<digest>
POST /v2/<name>/blobs/uploads/
Pushing an Image Manifest
GET /v2/_catalog
GET /v2/<name>/tags/list
Listing Image Tags Deleting an Image Detail Errors Base

HTTP API V2 | Docker Documentation

32 annotations

docs.docker.com

525

complexity of pulling container images
the same set of steps encompassed
retrieve a bundle
rootfs is a directory where containerd will setup the runtime container's filesystem
pulling an image and creating a bundle from that image
metadata store.
content store.
each layer, apply the result to a snapshot of the previous layer
chain id
manifest in the content store.
Go to file Go to file T Go to line L Copy path
Go to file Go to file T Go to line L Copy path
e
metadata store

containerd/data-flow.md at master · containerd/containerd

14 annotations

github.com

573

OCI runtime bundle
containerd is a high-level runtime that was split off from Docker
docker-containerd and docker-runc are just Docker packaged versions of vanilla containerd and runc
containerd
runc
building, packaging, sharing, and running containers
Docker

Container Runtimes Part 3: High-Level Runtimes - Ian Lewis

7 annotations

www.ianlewis.org

548

crictl is a command-line interface for CRI-compatible container runtimes

Debugging Kubernetes nodes with crictl | Kubernetes

1 annotation

kubernetes.io

493

sar
sar
能swap out的也已经swap out了
能free的都已经free了
内存调度
swap in , out
IOPS和读写带宽很高的盘作为SWAP分区
working set是指当前在物理内存中，属于该进程的pages组成的集合
invalid(segment fault)
minor page fault
major page fault
hard page fault中断
MMU管理进程的虚拟地址空间中的PAGE和物理内存中的PAGE之间的映射关系
内存管理单元(MMU)

page fault带来的性能问题-阿里云开发者社区

14 annotations

developer.aliyun.com

603

overlay/overlay2驱动更快一些，几乎肯定比aufs和devicemapper更快
diff、merged和work目录
lower
diff
overlay2驱动原生地支持多层lower OverlayFS镜像
work目录
分层的技术被称作union mount

Docker存储驱动之OverlayFS简介 - BookShu - 博客园

7 annotations

www.cnblogs.com

494

查看系统中的所有环境

Conda使用指南 - 知乎

1 annotation

zhuanlan.zhihu.com

481

components
subsystems
modules
Bundles
code layout may not reflect the exact architecture
any persistent references to images and bundles
content addressable storage
Layers are unpacked into snapshots
metrics API
a bundle is central to containerd
Go
pull a particular image.
image content into the content store
image name and root manifest pointers are registered with the metadata store
unpack the image into a bundle
Go
prepare the execution configuration
Metadata
store

containerd/architecture.md at master · containerd/containerd

19 annotations

github.com

536

libseccomp is required
Btrfs headers and libraries for your distribution
Protoc 3.x compiler and headers
Go 1.13.x or above except 1.14.x
libseccomp-dev
btrfs

containerd/BUILDING.md at master · containerd/containerd

6 annotations

github.com

525

support for snapshotters based on shared remote storage

Releases · containerd/containerd

1 annotation

github.com

563

Prepare
A snapshot represents a filesystem state
a snapshot snapshotter

snapshot package · pkg.go.dev

3 annotations

pkg.go.dev

491

OCI runtime specification
a container is a metadata object
Linux checkpoint and restore features, you will need criu installed on your system

containerd/containerd: An open and reliable container runtime

3 annotations

github.com

480

containerd/README.md at master · containerd/containerd

github.com

537

any functionality which is not required by the daemon is done by the client

containerd/PLUGINS.md at master · containerd/containerd

1 annotation

github.com

551

Add CPU and memory cgroupv2 metrics
Unshare cgroup namespace for container when using cgroupv2
support for snapshotters based on shared remote storage

Release containerd 1.4.0 · containerd/containerd

3 annotations

github.com

605

Enable to use snapshotter through containerd CRI plugin containerd/stargz-snapshotter#74
image ref and layer digest
Now it's ready for being experimentally used on k8s-based workloads and seeking adoptabilities on it

Enable to pass additional handler on pull for stargz-based remote snapshots by ktock · Pull Request #1431 · containerd/cri

3 annotations

github.com

495

content store service and snapshotter service.

snapshots - GoDoc

1 annotation

godoc.org

655

proposal: add tracing support · Issue #3057 · containerd/containerd

github.com

542

Error Boundary 标签
vue提供的handleError句柄
sourceMap就是一个文件，里面储存着位置信息。
sourceMap
前端工程化的时代,工程化导出的代码一般都是被压缩混淆后的
Webpack工程化
返回true 就不会被上抛了
window.onerror

从0到1，Vue大牛的前端搭建——异常监控系统 - 知乎

8 annotations

zhuanlan.zhihu.com

254

Each of these containers only takes up 32k of space on the filesystem.
/var/lib/docker/containers
Btrfs, ZFS, and other drivers handle the copy-on-write differently
a thin writable container layer is added on top of the other layers
strategy of sharing and copying files for maximum efficiency
/var/lib/docker/<storage-driver>
The major difference between a container and an image is the top writable layer
create data in the writable layer of your container
the best way to persist data from your applications

About storage drivers | Docker Documentation

9 annotations

docs.docker.com

493

苹果市值逼近2万亿美元创新高

新浪首页

1 annotation

www.sina.com.cn

528

brew install coreutils

Install and Use GNU Command Line Tools on macOS/OS X - Top Bug Net

1 annotation

www.topbug.net

394

configuration
filesystem layers
image index
manifest,

image-spec/spec.md at master · opencontainers/image-spec

4 annotations

github.com

689

align everybody's understanding
diagramming software architecture
abstraction-first
telling different stories to different types of audience
different levels of detail,
documenting an existing codebase
describe and communicate software architecture
Maps of your code
already thrown them out in favour of much simpler "boxes and lines" diagrams

The C4 model for visualising software architecture

9 annotations

c4model.com

611

QoS控制技术保障了每个用户的GPU资源不被其他租户抢占
实现不同用户之间的强隔离，有效防止信息泄漏
安全隔离技术
基于工作负载需要的资源分配
KVM架构与NVIDIA合作研发了异构计算产品
深度学习推理场景对GPU的计算资源消耗可能仅仅是训练阶段的数十分之一，甚至更少
计算资源过剩
深度的软硬件结合及优化才能发挥其性能优势
云端异构计算并非单纯地堆积硬件性能
虚拟化环境中更为灵活
Turing架构
可加速深度学习
NVIDIA Tesla P4 GPU
单颗物理GPU更细粒度的服务
公共云虚拟GPU异构计算产品VGN5i实例

国内首家，阿里云发布基于公共云的虚拟GPU服务 – NVIDIA 中国官方博客

15 annotations

blogs.nvidia.cn

637

https://github.com/iovisor/bcc/blob/master/docs/kernel-versions.md
recommend vendoring gobpf and pinning its version
go bindings for the bcc framework

iovisor/gobpf: Go bindings for creating BPF programs.

3 annotations

github.com

601

a way to account for it
reserve a chunk of resources for the system components

enhancements/20190226-pod-overhead.md at master · kubernetes/enhancements

2 annotations

github.com

509

entry anymore.
container runtimes need to download and extract file entries from layer blob
it’s shorter than the original image
lazily pulls stargz/node:13.13.0-esgz image
each node and plug it into containerd
download the entire image for starting containers
lazily pull container images
big images are unavoidable
fetching base images during builds
cold-start
only 6.4%
accounts for 76%

Startup Containers in Lightning Speed with Lazy Image Distribution on Containerd | by Kohei Tokunaga | nttlabs | Medium

12 annotations

medium.com

507

images and the relationship of images to various layers in a graph
snapshotters could focus on one thing, being a snapshotter
execution component in containerd to mount a container’s root filesystem in the containerd-shim
mounted and unmounted by the caller
snapshot API
all mounts to happen inside a mount namespace
driver’s responsibility to mount and unmount a root filesystem for a container.
the implementations that are the least flexible in terms of I/O
“snapshotters” as we modeled the interface
strict parent-child relationship that snapshots have
pluggable
Device mapper
overlays and snapshotting filesystems

Where are containerd’s graph drivers? | by Michael Crosby | Moby Blog

13 annotations

blog.mobyproject.org

522

ClickHouse/clickhouse-go: Golang driver for ClickHouse

github.com

462

extended BPF (Berkeley Packet Filters)
BCC is a toolkit for creating efficient kernel tracing and manipulation programs

iovisor/bcc: BCC - Tools for BPF-based Linux IO analysis, networking, monitoring, and more

2 annotations

github.com

412

bcc/disksnoop.py at 0c8c179fc1283600887efa46fe428022efc4151b · iovisor/bcc

github.com

422

全堆栈上工作，并使用端到端方法来处理问题

Hacker Noon创始人访谈:Harmony创始人Stephen Tse_区块链_金色财经

1 annotation

www.jinse.com

622

例如，url(./image.png) 会被翻译为 require('./image.png')

HTML 和静态资源 | Vue CLI

1 annotation

cli.vuejs.org

512

只有心态有了从容，面对金钱、名利才能豁达而又不失进取
人生总会有很多的缺憾，从容的心态是人生最高的境界
人生总会有很多的缺憾，从容的心态是
只有经历过无数次的过失与缺憾，才能在风雨之后看到彩虹
不完美绝非自暴自弃，无所事事的弱价值取向
无为而治
人生境界还有一个层次，那就是经过奋斗把不完满变得完满些
只豁达而不奋斗，就成了玩世不恭，那才是彻底的失败者
金无足赤，人无完人
追求完美即是不完美

次优是人生的最高境界_意林杂志_新浪博客

10 annotations

blog.sina.com.cn

638

Built-in Func
testInput
Party.ConfigureContainer
a function dependency can accept previous registered dependencies and update or return a new value of any type
Basic Authentication
Cookies
Model binding and validation
Using middleware
Grouping routes
Querystring parameters
Register Dependencies
Custom Preflight
Request & Response & Path Parameters
hero
Dependency Injection
Parameters in path

Start - Iris Web Framework

16 annotations

iris-go.com

573

spec.reques
spec.signerName
CN and O attribute of the CSR
CSR
PKI private key
Kubernetes signers
Signers
garbage collection controller
new certificate
signed
approved
allows a client to ask for an X.509 certificate be issued, based on a signing request
programmatic interface

Certificate Signing Requests | Kubernetes

13 annotations

kubernetes.io

438

保持一定的资源 buffer
统一填充式调度
资源使用提出指导意见，以便其在保证资源使用的同时，防止资源超配导致的浪费
评估预警，及早进行容器的自动扩容或者迁移
时空互补
应用画像可以为调度提供依据
应用
画像
应用对于资源的使用存在一定的规律。一般常规的做法是将其对于资源使用的特点，分为计算密集型、内存密集型、存储密集型等。这种简单的做法无法从 CPU/ 内存 / 存储 / 网络多个资源维度和时间维度上对于资源的使用进行描述。我们采用了强化机器学习算法，根据应用的历史数据，提取其资源使用的特征，进而将不同的应用进行归类，形成应用画像。应用画像可以为调度提供依据。不同的应用根据应用画像的结果，进行亲和 / 反亲和的调度，将不同类的应用容器调度在一起，使其资源需求得到时空互补，而不会相互影响。同时对于一个应用中多个容器，可以依据应用画像对容器的健康状态进行评估预警，及早进行容器的自动扩容或者迁移，以免影响业务。另外，应用画像还为之后应用的资源使用提出指导意见，以便其在保证资源使用的同时，防止资源超配导致的浪费。 Serverless 与延迟容忍在以往的技术架构中，大量的业务应用属于长期服务 (long-running services)，其特点是需要长时间提供服务。而实际上，许多应用并不需要长期提供服务。以图片转换应用为例，商户上传的商品图片需要转换成多种尺寸，并在图片中打上水印 /logo 等，并上传到存储中。图片转换应用只需要在用户上传图片时提供服务，其他时间并不需要占用资源；而且应用对于延迟不敏感，允许最长几十秒级别的延迟执行。对于这种事件驱动、延迟容忍的应用，我们推动其由长期服务，转向使用 JDOS 提供的 serverless 架构。serverless 的架构在将长期服务转为离线计算任务方面发挥了巨大的作用。 serverless 的应用任务和大数据的离线计算任务，抽象为统一的批处理任务 (batch jobs)。批处理任务提交到阿基米德时，需要提供任务描述，描述内容包括任务函数、任务类型、资源描述以及任务的延迟容忍时间等，由阿基米德进行调度执行。延迟容忍时间是指该任务可以容忍的最长延迟执行时间。也就是说任务提交后不必立即执行，可以容忍一定时间后才获得资源执行，这就为阿基米德的调度规划提供了重要依据，以便其提前进行流水线编排规划。资源碎片与时空复用不同批次采购的服务器的资源配比不同，而不同的应用申请的资源配比也不同。基于资源适配的调度算法容易导致一台服务器上的 CPU 的配额已经分配完毕，但是内存还空余几十 GB 或者内存分配完毕，CPU 还空余几核。这种情况我们称之为资源碎片。资源碎片在几乎每台物理机上都有发生。长期服务，特别是面向用户的任务，在每天的执行中会出现明显的高峰低谷。而且不同的长期服务的资源消耗也不同。因此集群中的时空资源利用率不均是常态。资源碎片和时空分布不均问题造成了巨额的资源浪费。我们倾向于长期服务稳定存在，尽量低频度迁移。因此对于资源碎片和时空不均的情况，阿基米德采用批处理任务进行统一填充式调度，以达到资源碎片的充分利用和资源的时空复用的效果。阿基米德不仅仅可以对当前的资源和任务进行调度，还可以综合应用画像和批处理任务的描述，对未来一段时间的任务调度进行提前规划，使得业务能够正常运行的同时，资源得到充分的利用，有效防止了批处理任务与长期服务的资源竞争。阿基米德会时刻保持一定的资源 buffer 应对突发流量的资源需求。 SLA 无论是长期服务还是批处理任务，均会与阿基米德签订 SLA 协议。阿基米德将会保证服务或者任务的资源使用量、服务可用性等。特别是长期服务，阿基米德将会优先保证其资源使用和服务可用。在批处理任务与长期服务、长期服务与长期服务即将出现资源竞争时，阿基米德会根据 SLA 协议的可用性和优先级进行筛选排序，依序对于任务或者服务进行驱逐迁移，保证高优先级的长期服务能够优先使用资源，非必要情况不进行迁移，不受其他任务 / 服务的资源竞争影响。集群自治 JDOS 提供了集群的自动化管理，阿基米德则将集群从自动化转为了自治的管理系统。社区的 kube-controller 提供了一个控制器的范例，但是存在着诸多弊端，比如 controller 获取的信息量过少，只能从 apiserver 获取 node 状态，无法准确判断 node 节点是否离线，从而导致误判，致使容器发生频繁迁移。因此阿基米德中扩展了 controller，成为一个单独的系统 MAGI。MAGI 共有五个节点，分布在数据中心的不同物理 POD 内。MAGI 系统负责集群的自治决策，采用投票会商制，用以对节点是否离线、容器是否需要迁移等决策进行复核。经 MAGI 系统归票决策后，才会实际触发节点的离线摘除和容器的迁移。不止于调度阿基米德不仅仅是 JDOS 的调度系统，更是应用资源使用情况的数据分析平台。阿基米德为项目管理、业务、审计、采购等部门的相关工作，提供了直接的数据支持。机房的主要电力消耗用于制冷，而制冷的主要目的是为 CPU 降温。阿基米德会根据应用画像与调度规划，对于服务器的 CPU 的主频进行相应调整，以达到节能降耗的作用。此功能已在 2 个核心机房进行了大规模的实践，取得了降低 17% 电力的成果。在 2018 年，我们将进一步推动优化调度算法，精确应用画像，提升调度的准确性，在整合计算、提升效率、节能降耗方面进行更多的实践。届时也将把更多的生产一线的调度数据和模型与业界分享。作者介绍鲍永成，京东商城研发体系 - 基础平台部技术总监。2013 年加入京东商城研发体系，负责京东容器平台 JDOS 研发，带领团队完成京东容器大规模战略项目落地，有效支撑京东日常业务系统运行和大促高峰流量。目前聚焦在京东 JDOS 阿基米德战略项目和敏捷智能数据中心等方向。感谢蔡芳芳对本文的策划。阅读数：2094 发布于：2017 年 11 月 15 日 16:59 文章版权归极客邦科技 InfoQ 所有，未经许可不得转载。  语言 & 开发架构双十一评论发布暂无评论推荐阅读 27 | 微服务容器化运维：容器调度和服务编排 2018 年 10 月 23 日想了解阿里巴巴的云化架构看这篇就够了 2017 年 12 月 26 日第 33 讲 | 区块链与供应链（二） 2018 年 6 月 8 日面向容器技术资源调度关键技术对比 2016 年 6 月 2 日新浪微博混合云架构实践挑战之概述篇 2016 年 4 月 3 日 11 | 负载均衡：节点负载差距这么大，为什么收到的流量还一样？ 2020 年 3 月 13 日不断超越的调度系统：如何撑住 9 年双 11 交易峰值 800 倍增长 2020 年 5 月 29 日订阅每周精要你将获得了解详情  资深编辑编译的全球 IT 要闻一线技术专家撰写的实操技术案例 InfoQ 出品的课程和线下活动报名通道立即订阅 
京东数据中心的资源调度与驱逐
业务系统资源申请量和使用量之间差距巨大
靠新增机器来应对高峰瞬时流量
集群的平均资源利用率提升 3 倍
3000 万核·小时

京东11·11：撬动数据中心的支点——京东阿基米德 - InfoQ

14 annotations

www.infoq.cn

428

内核字节码
IO Visor 项目开发的技术
网络编程
内核跟踪和事件监控
eBPF （意思是 “extended BPF”）
即时编译器
避免从内核空间到用户空间的无用的数据包复制行为
BPF，及伯克利包过滤器Berkeley Packet Filter

技术|深入理解 BPF：一个阅读清单

8 annotations

linux.cn

380

包过滤产生了巨大的性能提
BSD Packet Filter

BPF介绍 - 简书

2 annotations

www.jianshu.com

462

-
插入点在哪里
kprobe叫什么名字
p
ftrace的天下了
debugfs接口注册kprobe
模块加载的方式
inmod
register_kprobe
symbol_name是函数名
运行的内核中动态插入探测点，执行你预定义的操作
tracepoint只是内核在某些特定行为（比如进程切换）上部署的一些静态锚点
eBPF特性也寄生于kprobe之上
内核调试工具

kprobe原理解析（一） - honpey - 博客园

14 annotations

www.cnblogs.com

436

MIP which is solved on the fly
CPU accounting controller.
time-series features
contextual features
coming 10 minutes
every couple of hours on weeks of data
container-to-threads
periodically enqueue rebalance events
a remote optimization service
fence
each container’s cpuset cgroup
don’t shuffle things too much
don’t
even out pressure on the L3 caches
don’t use hyper-threads
avoid spreading a container across multiple NUMA sockets
a priori good placement decisions
d threads,
K containers
Mixed Integer Program (MIP)
illusion of concurrency
resource allocation problem
core pinning or nice values
mitigating CFS performance issues
data-driven decisions
heuristics
every few microseconds
data driven solution
performance of these containers
predictability
batch jobs
critical low-latency services
CFS (Completely Fair Scheduler)
mitigate this performance isolation problem
various levels of caching
CPU’s memory hierarchy
overall runtime of batch jobs

Predictive CPU isolation of containers at Netflix | by Netflix Technology Blog | Netflix TechBlog

37 annotations

netflixtechblog.com

395

untime spec
roootfs directory in your current directory a
exportrootfs.sh
runc project
runc runs the container, it exits
monitor stdin(out)
containerd-shim-v2 code
ctr image pull’
containerd-shim code
metrics ubuntulatest
reaper’ to reparent the container proces to the shim
containerd-shim-run-v2
Containerd supports shim v2

First look at the internals of containerd and runc

13 annotations

nanikgolang.netlify.app

675

生命周期钩子的 this 上下文指向调用它的 Vue 实例
只有当实例被创建时就已经存在于 data 中的 property 才是响应式的
实例挂载到 DOM 并在数据变化时更新 DOM 等
编译模板
数据监听
Vue 实例在被创建时都要经过一系列的初始化过程
Vue 实例还暴露了一些有用的实例 property 与方法。它们都有前缀 $，以便与用户定义的 property 区分开来
data 对象中的所有的 property 加入到 Vue 的响应式系统中
Vue 组件都是 Vue 实例

Vue 实例 — Vue.js

9 annotations

cn.vuejs.org

599

容器编译
主机编译
一般情况下对不同的模块可以进行单独的编译

Kubernetes源码编译 - 掘金

3 annotations

juejin.im

316

容器的网络或添加不同的工具来监视容器
curl得到容器度量标准
Container和task的不同，容器是分配和附加资源的元数据对象

如何使用containerd - 简书

3 annotations

www.jianshu.com

630

调整 limit 在 cgroup 反映的值，这个值在资源竞争缓和的时候还会被调整回去的
相同的资源条件下部署更多应用，完成更多作业就是达到资源利用的最大化的效果
资源竞争
错峰分配上面运行容器的资源或许更科学
Data Aggregator 生成某个容器或整个应用的画像
Policy engine 在处理一些更多复杂场景搞到无力时，上报事件让中心端做出更全局的决策。水平扩容或是垂直增加资源
单机节点上进行智能调度并执行 Pod 资源调整的核心组件
统计数据和预测数据
尽力而为
单机节点和中心端的资源调控链路
集群级别的闭环的智能资源调控链路
建立实时的动态容器画像，用过去一段时间窗口内容器资源使用情况的统计数据作为对未来一小段时间内的预测，并且动态更新
容器画像精细化
策略智能化
VPA 场景，删掉旧 Pod，创建新 Pod，这样的逻辑更难接受
我们希望能够打通与 HPA 和 VPA 的通路，使单机节点和中心端联动进行资源调整，最大化弹性伸缩的收益

超大规模商用 K8s 场景下，阿里巴巴如何动态解决容器资源的按需分配问题？

16 annotations

mp.weixin.qq.com

600

远程调用如同“隔空取物”
轻量级GPU虚拟化方案
用户提供了更大的价值和更加灵动的任务处理能力，加速推动AI计算与Kubernetes的发展及落地
混合云+本地数据中心的集中部署与管理
GPU资源池化解决方案
几乎零性能损失的情况下，提供对于物理GPU的细粒度、可远程、运行时动态可配置的虚拟化方案
高效的通讯机制
无需挂载物理GPU
，
同时为这些应用程序提供在GPU资源池中的硬件算力
比如仅能使用整数数量的GPU卡资源
Pod无法共享G卡
无法远程调用GPU卡等
GPU池化和虚拟化功能

Rancher与趋动科技达成深度合作，共同打造面向K8S的GPU资源池化方案_RancherLabs_传送门

14 annotations

chuansongme.com

525

有关slab方面的
CMU的mac的虚拟内存管理系统的架构
虚拟内存管理

也谈谈这四年来对内核的研究 - 内核源码-Chinaunix

3 annotations

bbs.chinaunix.net

458

the name and CNI version is the same for all plugin executions
For the ADD action, the runtime MUST also add a prevResult field to the configuration JSON of any plugin after the first one, which MUST
replace the name and cniVersion fields in each individual network configuration in the list with the name and cniVersion
multiple CNI plugins for a single container
IPAM specific values
Parameters
Result
Path to network namespace file
Delete container from network
Add container to network
type
name
new network namespace
network refers to a group of entities that are uniquely addressable that can communicate amongst each other
container can be considered synonymous with a Linux network namespace
a generic plugin-based networking solution for application containers on Linux
Network name
Refers to the filename of the CNI plugin executable
invoked by the container management system
A CNI plugin is responsible for inserting a network interface into the container network namespace

cni/SPEC.md at v0.6.0-rc2 · containernetworking/cni

20 annotations

github.com

423

菜鸟教程在线编辑器

www.runoob.com

523

Most npm packages are modules
module is any file or directory that can be loaded by Node.js' require()
package is a file or directory that is described by a package.json

19 - Understanding packages and modules | npm 中文文档

3 annotations

www.npmjs.cn

458

数据就是由特征

简单关键的特征工程

1 annotation

www.toutiao.com

404

证书文件，下发给客户端
签名
客户端的公钥和客户端信息是明文保存在证书请求文件中的
证书请求文件
密钥

openssl 证书请求和自签名命令req详解 - Gordon0918 - 博客园

5 annotations

www.cnblogs.com

367

integer amounts
it can have a certain number of dongles to be shared by all components running on the Node

Advertise Extended Resources for a Node | Kubernetes

2 annotations

kubernetes.io

439

Text Link Confirm Show example Confirm icon_global_rename_nor Created with Sketch. icon_global_delete_nor Created with Sketch. Insert title Embed webpage Embed data Keep the link Keep the code Cannot preview. Please get a shared link from Airtable. Show me an example Cannot preview. Please use a webpage link to Amap. Insert Table Insert Sheet Cannot preview. Please get a shared link from Airtable. Show me an example Cannot preview. Please use a webpage link to Amap. Cannot preview. Please get a shared link from Airtable. Show me an example Cannot preview. Please use a webpage link to Amap. Cannot preview. Please get a shared link from Airtable. Show me an example Cannot preview. Please use a webpage link to Amap. Version history Local record

Autopilot 设计要点 - Feishu Docs

1 annotation

bytedance.feishu.cn

400

CNI配置pod的网络命名空间
Docker引擎本身是在containerd的早期版本上构建的，并将很快升级到最新版本。Containerd几乎可以称得上是功能完备且稳定的版本，目前可用的是1.0.0-beta.1。
cri-containerd[1]

Containerd给Kubernetes带来了更多容器运行时的可选方案

3 annotations

www.sohu.com

391

certificates.k8s.io API to provision x509 certificates
server certificate
Certificate Signing Request (CSR)
server.key
ca.crt
ca.key
possible IPs and DNS names
server certificate and key
CA's new root certificate

Certificates | Kubernetes

9 annotations

kubernetes.io

430

提供房屋租赁备案通知书复印件1份
身份证复印件1份
如租的是中介代理的房产（自如公寓等）可由中介代为办理相关手续。
社区事务受理中心
身份证原件与复印件1份
居住登记

(5 封私信 / 23 条消息) 上海居住证办理条件以及流程？ - 知乎

6 annotations

www.zhihu.com

343

enables kubernetes clusters work together

virtual-kubelet/tensile-kube: A Kubernetes Provider

1 annotation

github.com

395

npm install admin-lte@^3.0 --save

ColorlibHQ/AdminLTE: AdminLTE - Free admin dashboard template based on Bootstrap 4

1 annotation

github.com

446

无酸味、以苦味为主，苦味会加重
　　咖啡的味道更浓，酸味变淡，这是一般咖啡豆的烘焙方法
一般通俗的煎培程度、留有强烈的酸味
烘焙程度越浅，酸味就越浓
烘焙程度越深苦味越浓
生豆占60%，烘焙占30%，萃取占10%
　　所谓咖啡烘焙（coffee roasting）是指通过对生豆的加热，促使咖啡豆内外部发生一系列物理和化学反应，并在此过程中生成咖啡的酸，苦，甘等多种味道，形成醇度和色调，将生豆转化为深褐色原豆的过程

咖啡豆中度烘焙和深度烘焙的区别深度烘焙和轻度烘焙哪个更好？中国咖啡网 gafei.com

7 annotations

www.gafei.com

269

cgroupv2 support meta issue · Issue #2315 · opencontainers/runc

github.com

562

run-in-gopath.sh
Adding a dep
Kubernetes 1.14.x and earlier
restore
ake a moment to consider why it should be updated
Updating a dep

community/godep.md at master · kubernetes/community

6 annotations

github.com

610

drone一个非常方便的插件
lxcfs增强
origin
upstream

细述kubernetes开发流程 - sarah_linux - 博客园

4 annotations

www.cnblogs.com

492

preset 将会存在用户的 home 目录下一个名为 .vuerc 的 JSON 文件

创建一个项目 | Vue CLI

1 annotation

cli.vuejs.org

517

public/index.html

HTML 和静态资源 | Vue CLI

1 annotation

cli.vuejs.org

475

Crossplane + OAM - Feishu Docs

bytedance.feishu.cn

574

工作负载/特征可移植性，互操作性，丰富的运行能力
那就是在一个系统中同时涵盖统一的应用定义和基础设施定义
YAML分解成多个片段呢
片段的拓扑
WorkloadDefinition
容器、函数、甚至虚拟机
框架
关注点分离”的想法与微软的团队非常契
较小片段
CRD作为描述应用的高级抽象
分组策略也是一个特殊类型的运行策略
平台构建者能够定义应用级别的抽象而不引入对平台可扩展性限制的理念
容器和基础设施API资源
Composition组合多个基础设施片段
应用中心的和可移植的基础设施绝非易事
OAM规范与Crossplane无缝集成
我们称之为”traits”

(译)OAM和Crossplane: 构建现代应用的下一个阶段 | 云原生社区

17 annotations

cloudnative.to

561

OCI Runtime filesystem bundle

opencontainers/image-spec: OCI Image Format

1 annotation

github.com

649

混布评估后台 - Feishu Docs

bytedance.feishu.cn

634

Podman containers use user namespaces to set root in the container to the user running Podman
Rootless
rootless containers
ntegrate libpod into CRI-O to replace its existing container management backend
Docker-compatible CLI interface.
Resource isolation
Podman is based on libpod,

containers/podman: Podman: A tool for managing OCI containers and pods

7 annotations

github.com

660

Checkpoint, Migration and Restoring
Checkpointing a container stops the container while writing the state of all processes in the container to disk

Getting Started with Podman | podman.io

2 annotations

podman.io

672

Github浏览器接口提供了一个blame选项作为用户接口
添加这句Panic的
深入被调用函数代码的功能
Chrome Sourcegraph 插件
REST调用的源码执行过程

Kubernetes源码之旅：从kubectl到API Server_Kubernetes中文社区

5 annotations

www.kubernetes.org.cn

375

安装containerd
安装c
crictl images 会列出所有的cri容器镜像。

containerd与kubernetes集成部署 - sarah_linux - 博客园

3 annotations

www.cnblogs.com

333

network-plugin
cni-bin-dir
Kubelet reads a file from --cni-conf-dir (default /etc/cni/net.d) and uses the CNI configuration from that file to set up each pod's network

Network Plugins | Kubernetes

3 annotations

kubernetes.io

331

execution lifecycle of a container
a first class shim API for runtime authors to integrate with containerd

Runtime v2 (shim API) by crosbymichael · Pull Request #2434 · containerd/containerd

2 annotations

github.com

570

the same dependencies
the same configuration
provisioned

Introduction | Vagrant by HashiCorp

3 annotations

www.vagrantup.com

584

each operator gets the complete list of state elements
Union redistribution
Even-split redistribution
a List of serializable objects
list-style managed operator state is supported
different redistribution schemes
CheckpointedFunction
each operator state is bound to one parallel operator instance
Keyed State is always relative to keys and can only be used in functions and operators on a KeyedStrea

Apache Flink 1.10 Documentation: Working with State

9 annotations

ci.apache.org

491

后者会打开文件两次
前者只打开一次文件a
command产生的标准输入重定向到文件a中，标准错误也重定向到文件a中

Linux 命令行中的2>&1究竟是什么意思？ - 简书

3 annotations

www.jianshu.com

436

groups
username

Authenticating | Kubernetes

2 annotations

kubernetes.io

425

--token-auth-file
Type, namespace and name
a single token for an entire cluster
secrets in the Kubernetes cluster
Bootstrap tokens
kubelet creates a proper kubeconfig with the key and signed certificate
certificate signing request
a limited usage "token"
URL of the API server
a certificate request and signing API

TLS bootstrapping | Kubernetes

10 annotations

kubernetes.io

486

go-callvis/examples at master · ofabry/go-callvis

github.com

461

dlv exec
-w disable DWARF generation 禁用调试信息
-s disable symbol table 禁用符号表
适用于所有mac、windows以及不方便在本地进行调试的技术宅
kubelet dlv启动命令是

K8s远程调试，你的姿势对了吗？ - 云+社区 - 腾讯云

5 annotations

cloud.tencent.com

348

connection drops
retransmission rates
AOC
instrumentation of code
upfront investment
operational metrics
Saturation is measured by looking at infrastructure metrics such as Disk I/O, Network I/O and System Memory
source-of-truth
Latency, Traffic and Errors Tracked Based On Service-Level KPIs
granularity
Latency, Traffic and Errors Tracked
service topology map of the application
stream-processing technology
service communication protocols
run API and services driven cloud applications
Netsil Application Operations Center (AOC)
Service Level Objectives (SLOs)
Services degrade in performance
How “full” is the service
rate of requests that fail
requests per secon
The time it takes to service a request
saturation
errors
traffic
latency
instrumentation of code
code-embedded agents
golden signals of monitoring that are the foundation of service-level observability for large-scale production applications

The 4 Golden Signals of API Health and Performance in Cloud-Native Applications

29 annotations

blog.netsil.com

643

OpenShift 作为企业级容器平台，它是一盏打开从 PaaS 到 DevOps 和微服务的大门
OCP 从发展来看，是先攻破开发，后打通运维
OCP 因 K8S 而重生（OCP3 基于 K8S 重构）、K8S 因 OCP 被企业级客户所接受
企业容器平台就是让客户的应用运行的更快、开发的更快。
敏态、稳态双模 IT 的概念
对于客户而言，如果没有 K8S，那么容器只是“单机版”，很难做到企业级使用
一次打包，到处运行的能力
Docker 提供了容器的镜像构建、打包等技术
FreeBSD 系统分区为多个子系统
容器时代，大多数是客户自己了解了容器后，寻找能够提供企业级容器解决方案的厂商
容器的起点就是面向应用，而不是像虚拟机那样面向运维
操作系统
容器的应用
操作系统
X86 虚拟化是：“虚拟机用假的 CPU、内存和网络欺骗操作系统
操作系统
容器是直接用宿主机的操作系统来欺骗容器的应用”
X86 虚拟化技术，不需要改造应用
X86 虚拟化是：“虚拟机用假的 CPU、内存和网络欺骗操作系统”
OpenShift 的核心价值是什么呢
容器的核心价值是什么呢
企业容器市场如何火热
OpenShift 在企业容器市场领导力
2019 年 9 月 IHS Markit Technology 发布了调查报告
r2018 年第四季度发布了企业容器平台（ECP）软件套件评估报
2017 年全球企业容器市场
一盏打开从 PaaS 到 DevOps 和微服务的大门

OpenShift 的核心价值到底在哪里？ - InfoQ

27 annotations

www.infoq.cn

610

可观测数据的微服务依赖关系评分规则
手工治理方法
结合流程和业务团队进行梳理盘点
马科夫链

ServiceRank: 使用马科夫链对微服务进行影响力评分 - 知乎

4 annotations

zhuanlan.zhihu.com

593

Kubernetes cluster explorer

Announcing New Relic's Kubernetes Cluster Explorer

1 annotation

blog.newrelic.com

603

Installation · kataras/iris Wiki

github.com

625

持续的学习和改变自身的能力才是研发同学最大、也是最强的优势
Leader 对你的期望、对项目的期望、你对他给予你空间和支持的期望
期望管理
本质上是为了达成一致的目标和互相认可的结果
别迷信加班和体力上的付出
员工离职的三大要素之一就是和 Leader 处不来
有意识地向上管理
对你所负责的系统，它关键的上下游、核心业务的链路一定要熟悉
产研缺少全链路的视角
研发要对生产环境有敬畏
DDD 抽象
问题分析能力
动手能力
技术、业务、管理和架构层面

饿了么4年 + 阿里2年：研发路上的一些总结与思考 - InfoQ

14 annotations

www.infoq.cn

351

本地二进制文件编译Kubernetes
docker镜像编译
本地二进制可执行文件

编译和运行Kubernetes源码_Kubernetes中文社区

3 annotations

www.kubernetes.org.cn

350

This will save a list of dependencies to the file Godeps/Godeps.json and copy their source code into vendor/

tools/godep: dependency tool for go

1 annotation

github.com

329

make quick-release

kubernetes/kubernetes: Production-Grade Container Scheduling and Management

1 annotation

github.com

282

godep save 命令，执行之后会将所有的依赖的第三方包扫描出来，生成Godeps和Vendor目录
需要更新依赖的版本，那么直接更新godep.json里面的第三方包的版本号，然后再执行一次godep save
Vendor保存所有依赖的第三方包
GoDeps保存的是第三方包的依赖信息
godep save 命令，如果执行成功，则会生成两个文件夹 Godeps 和 vendor
godep进行包管理

Go语言使用Godep进行包管理 - 奋斗的大橙子 - 博客园

6 annotations

www.cnblogs.com

330

kubernetes/go.mod at master · kubernetes/kubernetes

github.com

298

访问控制和用户管理
不同环境的用户或团队会有不同体验
安装和配置的复杂性
难以管理多个云、多个集群，设置用户，设置策略
worker machine
无法帮助您轻松地跨云提供商管理和扩展它们
管理和编排节点集群中的容器化应用程序
微服务部署架构
多个公有云
混合云模式
网站的流量会面临突然的增长，这时企业该如何应对

如何零停机为混合云架构中的Kubernetes集群进行扩缩容_RancherLabs_传送门

11 annotations

chuansongme.com

413

图表的颜色和边框宽度

[转]Chart.js入门教程 - h2z - 博客园

1 annotation

www.cnblogs.com

385

vuejs-templates/webpack-simple: A simple Webpack + vue-loader setup for quick prototyping.

github.com

537

cni - 容器网络接口

如何使用 cri-o - 简书

1 annotation

www.jianshu.com

527

云原生时代
支持异构
云原生应用
底层无关
底
硬件配置
云供应商、
调度系统
容器运行时
异构的平台
中间件这种又该怎么描述
描述一个应用
高内聚、低耦合、可扩展、分布式的应用Paas平台
维稳、降本、提效，稳定性应该是运维根本
需求->开发->测试->发布->运维->运营实现全链路的覆盖
应用全生命周期管理
服务化能力
自助化操作
流程平台的联动

从传统Paas到OAM入门篇_Kubernetes中文社区

19 annotations

www.kubernetes.org.cn

579

pod都能通过IP彼此通信。
共享相同的网络空间和IP

简单5步，轻松debug K8s服务！ - 云+社区 - 腾讯云

2 annotations

cloud.tencent.com

656

内容寻址存储系统
containerd里添加的另一个领域是完整的存储和分发系统
内部强大的事件系统
网络之类的，不在containerd考虑的范围
Container, Task,和Snapshot类型的对象
抽象层来运行一个容器
符合现代容器平台
containerd的功能集和设计

什么是CONTAINERD？ - DockOne.io

8 annotations

www.dockone.io

410

docker-registry自己去实现一套对象存储了吗？没有，因为在对象存储这个领域，已经有很多优秀的实现。所以docker-registry是一个HTTP接口的服务，仅仅是在对象存储上包了一层镜像的家族谱系，而且底层支持多种对象存储。
水平扩展的集群存储

从Docker Hub和docker-registry看优秀的后端服务设计实现 - DockOne.io

2 annotations

dockone.io

581

OCI bundle
cpu,memory:$UUID
Shares are an amount of CPU time relative to other processes running at the same time
runc
runc is currently the most widely used container runtime

Container Runtimes Part 2: Anatomy of a Low-Level Container Runtime - Ian Lewis

5 annotations

www.ianlewis.org

658

Alternate Logo

Main Sidebar Component | AdminLTE 3 Documentation

1 annotation

adminlte.io

449

大规模场景下 kubernetes 集群的性能优化 - 知乎

zhuanlan.zhihu.com

604

image formats, image management, and sharing images.
Cgroups provide a way to limit the amount of resources like CPU and memory that each container can use

Container Runtimes Part 1: An Introduction to Container Runtimes - Ian Lewis

2 annotations

www.ianlewis.org

677

科学是纯粹经验主义和不带偏见的
数据清洗
外部数据
业务数据
流量数据
行为数据（埋点）
虚拟指标
北斗星指标
漏斗分析思维
后验分析
横向、纵向、环比等
验证假设，提供必要的数据支持
挖掘问题，定位原因，对症下药

你真的懂数据分析吗？4个方面深入了解数据分析

13 annotations

mbd.baidu.com

650

add KEP for cgroups v2 support by giuseppe · Pull Request #1370 · kubernetes/enhancements

1 annotation

github.com

618

T检验(Student’s t test)
学过就忘记，

做数据分析不懂统计学很可怕！_改版

2 annotations

www.sohu.com

554

developer's documentation

kubernetes/kubernetes at release-1.14

1 annotation

github.com

669

运行状态
create 命令创建容器
安全计算模型 libseccomp
编译并安装
OCI bundle
容器的文件系统
config.json
runc spec 命令来生成 config.json 文件
创建容器
rootless 的方式运行容器
热迁移就是将一个容器进行 checkpoint 操作
容器的 restore 工作
CRIU 作为热迁移的工具

RunC到底是干啥的 - 简书

13 annotations

www.jianshu.com

644

两种工具都是管理员在容器工具库中的绝佳补充。
可见nginx进程ID是23477，它的父进程是23465，也就是conmon进程，conmon进程的父进程是systemd
conmon负责container runtime，主要包括监控，日志，TTY分配等，简而言之，conmon是所有容器进程的父进程
conmon
conmon会负责为每一个container起一个进程来监控容器额定运行
CRI-O的范围与CRI的范围相关
building和singing和pushing容器镜像到不同的镜像库中
我想这是Redhat公司大力推举Podman替换Docker的同时又不是用户体验的诡计
conmon(container monitorring)是一个监控程序,用来作为每个容器的容器引擎（podman ,cri-o）和OCI运行时（runc）之间通信的工具。

CRI-O vs Podman vs Docker vs CRI-containerd - 简书

9 annotations

www.jianshu.com

529

Kuberhealthy转变为作合成监测的Kubernetes操作器（operator）

通过Kuberhealthy了解K8s的KPI - 云+社区 - 腾讯云

1 annotation

cloud.tencent.com

645

新版机器学习模型的生产部署通常会进行 A/B 测试或在线实验
监控模型预测性能
评估模型
超参数调节
数据清理
提取
自动流水线
手动完成
机器学习模型交付给生产环境
评估
训练
自动部署其他服务（模型预测服务）的系统
自动重新训练和提供模型
该模型在给定用例的相关训练数据的情况下，可在留出的离线数据集上实现出色的预测性能
DevOps 原则运用于机器学习系统 (MLOps) 的数据科学家和机器学习工程师
预测模型
数据科学团队和机器学习功能
大型数据集
持续集成 (CI)、持续交付 (CD) 和持续训练 (CT)

MLOps：机器学习中的持续交付和自动化流水线 | Google Cloud

19 annotations

cloud.google.com

637

clients should be prepared to handle redirects.

HTTP API V2 | Docker Documentation

1 annotation

docs.docker.com

576

初始层中主要保存初始化容器环境
merged文件夹提供了统一视图
cache-id，diff，size信息
分层存储目录，保存实际分层内容
镜像分层元数据
镜像基础元数据
解压和删除合并为一层
清理中间产物
lower，merged，work三个文件/文件夹
aufs，deviceMapper，overlay，overlay2
镜像的分层存储和继承就是基于此特性实现

网易技术实践｜Docker文件系统实战 - 知乎

11 annotations

zhuanlan.zhihu.com

605

kubectl

Make minikube (and kvm2) installable with "apt-get" · Issue #3110 · kubernetes/minikube

1 annotation

github.com

666

Users
Use
/Users
/data
Container Registries
Configuring Kubernetes
minikube docker-env.

Installing Kubernetes with Minikube | Kubernetes

7 annotations

kubernetes.io

546

podman build命令的非特权用户相同的文件访问权限
可以将主机上的非特权UID / GID安全地映射到容器内的根用户（UID / GID = 0），从而为容器的进程提供镜像构建过程中可能需要的特权
如果创建容器所使用的命名空间集包括用户命名空间，则调用该容器的代理可以是非特权用户
Podman如何解决这个问题
容器工具开放存储库
从容器工作流中移除Docker Daemon
Daemonless Builds
Rootless Builds
重现了熟悉的Docker CLI的全部功能
fork/exec模式
客户端/服务器模式

利用Podman和Buildah构建容器镜像 - DockOne.io

11 annotations

dockone.io

617

fuse-overlayfs rather than the VFS file system
n a rootless environment
user-mode networking for unprivileged network namespaces
switch to the alternative OCI runtime crun
change the default OCI Runtime
a rootless container can use

podman/rootless_tutorial.md at master · containers/podman

6 annotations

github.com

546

C4模型是最容易理解、最容易使用的工具
所以作者提供了一个部署图。考虑到DevOps运动如火如荼，这个图可以变成很好的Dev和Ops之间沟通的桥梁。
部署图
动态图
系统景观图是比上下文图更丰富的系统级别的表达
系统景观图
UML里的类图之类很细节的图
当我们放大一个容器，我们就会看到组件
代指有自己独立进程空间的一种存在
单体架构快速崩塌的时代
C4模型认为系统是由容器组成的
System、容器Container、组件Component和代码Code
在每一个层次刻意忽略一些细节才能表达好当前抽象层次的信息
抽象层次

可视化架构设计——C4介绍 - 简书

14 annotations

www.jianshu.com

665

This depends upon the container runtimes like runc and crun to be able to write cgroups v2 values directly.

enhancements/20191118-cgroups-v2.md at master · kubernetes/enhancements

1 annotation

github.com

599

proportional control
Laser
Scribe
Tupperware
pressure stall information (PSI)
maximum bandwidth limit.
an absolute bandwidth allocation model for realtime scheduling policy
normal scheduling policy
weight and absolute bandwidth limit models

CPU Controller · cgroup2

9 annotations

facebookmicrosites.github.io

658

Requesting a Certificate for Service
Requesting a Certificate for Ingress
Requesting a Certificate
certificate custom resource

gardener/cert-management: Manages TLS certificates in Kubernetes clusters using custom resources

4 annotations

github.com

605

Prometheus的GPU可视化监控
Kubernetes调度程序，用于根据优先级对GPU任务进行资源调度管理
提高资源效率
最大化GPU资源利用率
多租户共享调度单一GP
细粒度的GPU资源配额管理
GPU虚拟化构建GPU共享资源池

Cloud Native + Open Source Virtual Summit China 2020 - Cn: 解锁HPC新姿态-容器化、云和基于GPU的工作负载 - Ying Xu，上海超级...

7 annotations

cnosvschina20cn.sched.com

662

，南桥和北桥一样，也是用来连接计算机设备的，主要是连接低速的网卡，USB设备，音频，硬盘等设备，连接这些设备也是由一条总线牵连，我们叫做I/O总线
系统总线，总线一次能传输的数据一般是32bit和64bit两种
芯片组
算术逻辑单元
控制单元
真正和内存联通的其实是北桥

(5 封私信 / 28 条消息) 谁能给我解释一下什么叫计算机【总线】？ - 知乎

6 annotations

www.zhihu.com

612

控制（
统计
优先级
限制
系列钩子（hooks）
伪文件系统
UnionFS
工具库
资源调度控制器
hierarchy由一系列cgroup以一个树状结构排列而成
subsystems
-t后面跟的是挂载的文件系统类型
-o后面跟要挂载的子系统种类如cpu、memory

Docker背后的内核知识——cgroups资源限制 – 浙江大学SEL实验室

13 annotations

www.sel.zju.edu.cn

556

Gardener

github.com

654

对外输出上，谷歌云明显没有AWS有经验
谷歌本身在公有云上的思路不太清楚
谷歌也是第一家提出云计算概念的公司
谷歌在2002年到2004年间发表了三篇论文，奠定了云计算的基石

谷歌云为何“放弃”中国市场？有人为它算了账，投入产出比太低

4 annotations

mbd.baidu.com

471

线框图不足以说明其复杂性和典型性，你就可以将线框图升级扩展为可交互原型
使用注释
组件时，选择基础的设计
线框图里的颜色可能会分散读者的注意力
减少颜色的使用
线框图应该先于视觉设计阶段
页面和组件
线框图的最大意义，是帮我们定义产品或者服务的目标。
毕竟设计出一个对用户友好的界面并不是一件容易事
它是展示Web或者App框架的视觉指南
用线框图来搭建页面的基本框架和结构

怎样画线框图才有意义

11 annotations

mbd.baidu.com

479

Application Bundle Builders
OCI configuration file
OCI-compliant bundles
container configuration
containing low-level OS
host-specific details

opencontainers/runtime-spec: OCI Runtime Specification

6 annotations

github.com

612

ImagePullSecrets
Pre-pulled Images
Nodes to Authenticate
keys to read images from them
avoid using the latest tag
different versions of the same series of images

Images | Kubernetes

6 annotations

kubernetes.io

438

Podman等工具设计出来的时候就是本着服务于K8S的目的
单纯的替换CRI的话可能是对于资源消耗以及容器启动速度都是有明显加成的
依赖其余的守护进程，它能支持非Dockerfile的构建文件
vfs存储驱动程序会耗尽大量磁盘空间。它类似于Dockerfile
Buildah用来构建OCI图像
推，拉和复制镜像来处理Docker和OC镜像
容器的进程是 podman 的子进程
没有 daemon
Podman 的使用体验和 Docker 类似
单独的项目叫 libpod
接口抽象化
进程树并操纵一些底层系统资源
用户空间工具
映像
控制组
名称空间
内核轻量级的操作系统层虚拟化技术
迁移的可能性
新的架构和老的架构的区别
Podman+Skopeo+Buildah

下一代容器架构已出，Docker何去何处？看看这里的6问6答！！ - 知乎

20 annotations

zhuanlan.zhihu.com

675

new features and expanded support, such as support for CGroups v2

Release containerd 1.4.0-beta.2 · containerd/containerd

1 annotation

github.com

534

不仅会浪费巨大的网络带宽，也会给存储带来负担
云计算是大脑记忆系统

一分钟快速了解边缘计算

2 annotations

mbd.baidu.com

435

kubeadm to provision a Kubernetes cluster
libmachine for provisioning VMs
HTTP Proxy
~/.minikube/addons

Installing Kubernetes with Minikube | Kubernetes

4 annotations

kubernetes.io

440

用户命名空间
seccomp

Containerd首页、文档和下载 - 控制 runC 的守护进程 - OSCHINA

2 annotations

www.oschina.net

399

This is a package for consuming the runc binary in your Go applications

containerd/go-runc: runc bindings for Go

1 annotation

github.com

570

an application's infrastructure requirements are defined declaratively
entirely under the control of software

Software-defined infrastructure - Wikipedia

2 annotations

en.wikipedia.org

464

解决问题

面向TCE的GPU资源池化方案 - Feishu Docs

1 annotation

bytedance.feishu.cn

600

... 创建runc 实例作为shim的runtime
此

shim学习-1 - 简书

2 annotations

www.jianshu.com

490

Pod.spec.containers 中的每个 container 计算一个 hash 值
扩展 workload 做部署管理
大部分拉取镜像的耗时
分配、挂载远程盘的耗时
分配网络的耗时
调度的耗时
原地升级至少比完全重建升级提升了 80% 以上的发布速度
只更新 Pod 中某一个或多个容器版本
仅仅更新了原 Pod 对象中 foo 容器的 image 字段
uid也变了
同样的名字
StatefulSet
Deployment

揭秘：如何为 Kubernetes 实现原地升级 - 知乎

13 annotations

zhuanlan.zhihu.com

361

CCA) tools can be thought of as an extension of traditional IaC frameworks
infrastructure automation capabilities and use IaC
promote declarative approaches
configuration resources

Infrastructure as code - Wikipedia

4 annotations

en.wikipedia.org

449

分布式系统设计理念为何这么难学？
如何提高分布式系统的可用性是一个很深的话题
表面看似去中心化，设计理念却是中心化的思路
完全中心化和去中心化的系统并不常见，反而现在慢慢出现的是二者的搭配者
去中心化的设计方案会出现多个小范围的“团伙”
中心化设计并不适合那些大量写的操作
自动选举leader的功能，这还要感谢paxos，raft等选举算法
leader节点需要一个从节点或者备用节点
push和pull（推和拉）方式
Leader节点和Work节点
角色
中心化
多个节点如何协同工作的难题
BASE理论
烂大街的CAP原则的讲解
容错性
降低这些风险
一个好的分布式系统在性能方面要远超单机系统
吞吐量，可靠性，响应时间，数据一致性等
任何由处于不同物理位置的多个进程提供相同服务的系统都可以称之为分布式系统

分布式系统设计理念为何这么难学？

20 annotations

mbd.baidu.com

498

没有人可以在一开始就胜任一份工作。不过，如果这真是你的梦想，请一定要相信自己并且记得时刻努力
人就像弹簧，压缩到最大限度的时候就该是到了反弹的时候了

《奋斗的乔伊》熟知的故事，背后总有直戳心底的不解与细节

2 annotations

baijiahao.baidu.com

520

时间统计法”充分的利用了自己的时间
控制欲望
远离坏习惯
张弛有度，认识自己
规律化的生活，用习惯代替毅力
其实最好的身体状态，就是感觉不到特殊的状态。
无氧运动可以使我们的身体变得更加强壮、增加抵抗力
有氧运动可以调整和增强我们的心血管功能
有一个很少人知道的真相是在当人体发育完毕后我们的代谢水平会逐步下降
奇特的一生
他每天要睡10个小时！只有充足和规律的睡眠才能让人在白天精神抖擞
务必保证自己所需的充足睡眠，这才是高效的根本
别玩手机了，手机不会让你得到休息
交换使用你大脑的不同区域
短时间内（每次60秒或更短）进行剧烈运动
全身心地休息15分钟。
精力管理

(5 封私信 / 22 条消息) 如何保持精力充沛，有效适应困、倦、疲、乏等周期型生理状况？ - 知乎

17 annotations

www.zhihu.com

411

TUN/TAP 设备是一种让用户态程序向内核协议栈注入数据的设备
VLAN 又称虚拟网络，是一个被广泛使用的概念
Bridge 可以设置 IP 地址。通常来说 IP 地址是三层协议的内容
MAC 端口映射表
Bridge、802.1.q VLAN device、VETH、TAP
二层协议交换的设备
Bridge
几种 Linux 网络设备抽象类型

Linux 上的基础网络设备详解

8 annotations

www.ibm.com

418

每个Pod创建containerd-shim进程
runc-v2版本

如何优雅地使用containerd？这里有一份必读的技巧攻略 - 简书

2 annotations

www.jianshu.com

324

containerd 1.4,
cri plugin started using the shim v2 binary

Containerd distributions should contain v2 shim binaries · Issue #3894 · containerd/containerd

2 annotations

github.com

448

like support for cgroup v2
won't support new features

bump up the default runtime to "io.containerd.runc.v2" by AkihiroSuda · Pull Request #1359 · containerd/cri

2 annotations

github.com

403

content addresses
a fully namespaced API so multiple consumers can all use a single containerd instance without conflicting with one another

containerd/namespaces.md at master · containerd/containerd

2 annotations

github.com

417

specific runc version when dealing with advanced features

containerd/RUNC.md at master · containerd/containerd

1 annotation

github.com

430

孤儿（Orphan
级联（Cascading
K8s 社区引入并实现了 Garbage Collector Controller（垃圾回收器）
对象关联参考金字塔是颠倒的
metadata.ownerReferences
孤儿对象
级联删除

Kubernetes 中的垃圾回收 - 知乎

7 annotations

zhuanlan.zhihu.com

373

随着http://draw.io开源vs code插件之后

强强联手！VS Code让它成为最强流程图工具 - 知乎

1 annotation

zhuanlan.zhihu.com

400

epoll
poll
select
当文件描述符就绪时自动回调通知，不用每次循环，从而让复杂度从O（n）降低到O（1）
没有最大文件描
系统中的IO被抽象为文件描述符
select函数监测IO事件的发生
select函数，该函数会一直挂起来监听的输入IO集合（文件描述符）

I/O多路复用技术（multiplexing）是什么？-懂点IT的回答-悟空问答

8 annotations

www.wukong.com

431

进程之外的解决方案能够确保系统的灵活性
微服务是一个很好的机会能让我们真正的演进架构而不需要付出过多的代价
容器化、微服务、面向云环境
侵入性与语言绑架
Spring Cloud 貌似是微服务的最优解了
最吃香的理论也许是根据 DDD 去进行划分，天然的领域或者子域（domain）貌似都能对应一个服务，因为足够的界限上下文（bounded context）能够保持服务的独立性，使其细节被隐藏在界限之内
拆分服务或者服务边界划分是另一件很难做到的事情
分布式事务
单体应用的代码改动成本会越来越大
我们看中微服务，也是看中了架构方面的优势，即那些非功能性需求
演进能力
非功能性需求
软件的架构设计
软件产品的能力和行为
软件应该走对应的方向，发挥易于修改的特点
soft 则强调易变
软件架构
阿里云交付专家

2020 年，从架构谈起，到 Mesh 结束 - 知乎

18 annotations

zhuanlan.zhihu.com

354

在内存中创建一个共享文件，通信的进程之间通过该共享文件来交换信息
通用界面

Unix管道之美

2 annotations

www.toutiao.com

378

连接池

Go 连接池相关总结：HTTP、RPC、Redis 和数据库等

1 annotation

www.toutiao.com

356

reused instead of created
Transport caches connections for future re-use

http - The Go Programming Language

2 annotations

golang.org

362

短小的、固定长度（如3周）的小项目
迭代式开发
快速原型法
瀑布式模型
开发被认为是按照需求分析，设计，实现，测试 (确认)，集成，和维护顺序的进行

如何写软件设计文档 - 一抹微蓝 - 博客园

5 annotations

www.cnblogs.com

441

Create rpc request
OCI Runtime Bundle
build a shim
runtime authors

containerd/runtime/v2 at master · containerd/containerd

4 annotations

github.com

527

数据开发是一整套数据加工以及加工过程管控的工具，有经验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速把数据加工成对业务有价值的形式，提供给业务使用
业务系统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中
入口
数据资产变为数据服务能力
数据的使用成本更低
屏蔽掉底层存储平台的计算技术复杂性
数据中台提供的工具、方法和运行机制，把数据变为一种服务能力，让数据更方便地被业务所使用

一个通用的数据中台架构应该如何构建？ - InfoQ

7 annotations

www.infoq.cn

629

project directory (remember, that is the one with the Vagrantfile) to the /vagrant directory

Synced Folders - Getting Started | Vagrant by HashiCorp

1 annotation

www.vagrantup.com

514

vagrant reload --provision
output from the shell script appear in your terminal
shell provisioner
DocumentRoot
automated provisioning

Provisioning - Getting Started | Vagrant by HashiCorp

5 annotations

www.vagrantup.com

551

bridge the guest machine onto an existing network
static IP address
port forwarding

Networking - Getting Started | Vagrant by HashiCorp

3 annotations

www.vagrantup.com

514

share and collaborate on these environments

Share - Getting Started | Vagrant by HashiCorp

1 annotation

www.vagrantup.com

610

Destroying
Halting
Suspending

Teardown - Getting Started | Vagrant by HashiCorp

3 annotations

www.vagrantup.com

558

Cgroups v1 关掉，可以在 /etc/default/grub 文件下修改 kernel 参数, 增加 GRUB_CMDLINE_LINUX_DEFAULT=“cgroup_no_v1=all”
如果想在 Cgroups v2 使用已经被 Cgroups v1 使用的 controller，则需要先将其从 Cgroups v1 中 umount 掉
一个 contoller 无法在 Cgroups v1 和 v2 中同时使用

浅谈Cgroups V2 - InfoQ

3 annotations

www.infoq.cn

523

delegation of cpuset controller.
lack of freezer.
/sys/fs/cgroup/cgroup.controllers
systemd.unified_cgroup_hierarchy=1
cgroup v2 (unified mode)

runc/cgroup-v2.md at master · opencontainers/runc

5 annotations

github.com

462

Containerd ShimV2

CRI 与 ShimV2：一种 Kubernetes 集成容器运行时的新思路_搜狐汽车_搜狐网

1 annotation

www.sohu.com

622

设计模式
性能优化
并发编程
微服务架构
主流的分布式架构
生于忧患，死于安乐。
最大化自己的价值
自己的优势在哪里
知道自己擅长什么
了解自己
思考能力
这个阶段你一定会开始蚕食别的领域，这是一定的。逐渐的不再满足于纯技术领域的探索，而是开始探索技术背后的事情：什么技术在什么样的场合能够发挥最大的价值；技术团队应该怎样构建；技术在公司未来的价值？创业公司对技术的需求？支撑技术的产品，怎样学习做产品？支撑产品背后的运营体系是怎样建立的？商业社会对技术、产品、运营等的是怎样的认知，商业社会有什么的特定规律?也许还有更多

程序员就意味着高薪？解除35岁的忧虑，一条正确的职业生涯规划 - 简书

12 annotations

www.jianshu.com

612

独立开发、高效率部署、运维标准化
Pod的串接数量。他们发现串连路径越长，效能折损越大
RESTful API去
导入微服务的概念
横向扩充（Scale out）的活动
应用程序放到Docker container
OpenShift Container Platform
、微服务化的风潮
容器化
虚拟化

流量突发增大，如何扛住压力，微服务实现弹性部署与标准化运维_Kubernetes中文社区

10 annotations

www.kubernetes.org.cn

588

Docker的build API和Dockerfile仍然是构建容器镜像的主要方法
无root权限“构建
Docker in Docker
我们不得不将守护进程的套接字安装到“客户端”容器中，以使其可用于构建
Docker Daemon要求客户端具有root访问权限或作为Docker组成员
没有一个方案可以将其与API结合。
镜像构建过程中如何处理密钥已经很多方案
内容临时挂载在构建过程中所需的位置
不希望最终产品中包含内容
构建容器镜像的过程依赖临时提供的内容或从中受益
缓存的内容而不是重新创建它
创建容器镜像不需要Docker Daemon
这些功能需要root权限才能运行，
容器镜像构建的最新技术
应用构建成自给自足且不变的软件包——容器镜像
容器抽象的普及

未来我们如何构建容器镜像？ - DockOne.io

16 annotations

dockone.io

652

virtual machine running Ubuntu

Up and SSH - Getting Started | Vagrant by HashiCorp

1 annotation

www.vagrantup.com

565

under cgroupv2-only systems
A large amount of effort has been undertaken to support cgroupv2 within runc

Releases · opencontainers/runc

2 annotations

github.com

612

分层的软件架构图

用于软件架构的C4模型 - InfoQ

1 annotation

www.infoq.cn

632

A package installer is an application that tracks software, updates, and dependencies
package database
which is commonly caused by an interrupted installation process or a corrupted database
dpkg package installer

Fix ”sub process usr bin dpkg returned an error code 1" in Ubuntu

4 annotations

phoenixnap.com

658

那这种变化体现的就是企业对于市场信息「认知」的变化，以及做出的应对反应。
无法直接应用
证伪
从原点假设出发通过推演去探究问题和现象的本质
我们都在习惯性的采用「归纳法」的方式，试图通过行业里标杆企业和案例的研究，再结合自己的经验和洞察，试图通过归纳，给出关于“中台”一个合理解释，并找到一种通用的建设方法。
我们都在习惯性的采用「归纳法」的方式，试图通过行业里标杆企业和案例的研究，再结合自
可以让我们透过中台的各种表象，深入思考和洞察其背后的本质
归纳法
演绎法
第一性原理（First Principles）

白话中台战略-5：中台的第一性原理 - 简书

10 annotations

www.jianshu.com

638

统一跨架构编程模型 oneAPI
硬件架构的多元化使得普通软件开发者在开发时困难重重
英特尔亚太研发中心，位于高校环绕的上海紫竹科技园区
让英特尔成为一个超越 CPU 的公司才是英特尔的未来目标
PC 处理器市场的半壁江山

软件对于英特尔意味着什么？

5 annotations

mbd.baidu.com

705

tags are used to designate versions of software within in the repository
each layer has tag and a Universally Unique Identifier (UUID)

A Practical Introduction to Container Terminology - Red Hat Developer

2 annotations

developers.redhat.com

618

概要 · Go Web Iris中文网

studyiris.com

576

DBSCAN
Density-Based Spatial Clustering of Applications with Noise (DBSCAN)
unsupervised machine learning technique
use cluster analysis
improving reliability
not bad enough to be detected by a threshold aler
automate the detection of servers that are operating in a degraded state
periodic tuning
A very unhealthy server
A slow or unhealthy server is worse than a down server
Is there a way to use time series data to automatically find these outliers
elevated request processing latency
less than one percent of those become unhealthy
automated outlier detection
look beyond
go beyond
heightened senses
one rogue server

Tracking down the Villains: Outlier Detection at Netflix

18 annotations

netflixtechblog.com

596

零拷贝技术
Direct Memory Access
总线
包含了传输数据的数据总线
不能都一起传数据
总线控制器
控制总线
一个离我们CPU很近的叫北桥
离我们远一点的叫南桥
多级总线

太慢不能忍！CPU 又拿硬盘和网卡开刀了！

10 annotations

mbd.baidu.com

529

V8 (Chrome, Chromium)
现代浏览器改为采用“即时编译”（Just In Time compiler，缩写 JIT），即字节码只在运行时编译，用到哪一行就编译哪一行，并且把编译结果缓存（inline cache）
浏览器都将 JavaScript 进行一定程度的编译，生成类似字节码（bytecode）的中间代码，以提高运行速度
JavaScript 是一种解释型语言，也就是说，它不需要编译，由解释器实时运行
渲染树绘制到屏幕
渲染树的布局（layout）
将 DOM 和 CSSOM 合成一棵渲染树
CSS 代码解析为 CSSOM
HTML 代码解析为 DOM
Chrome：Blink 引擎
解析和执行 CSS，也会产生阻塞
DOMContentLoaded事件
较好的做法是将<script>标签都放在页面底部，而不是头部
如果外部脚本加载时间很长（一直无法完成下载），那么浏览器就会一直等待脚本下载完成，造成网页长时间失去响应，浏览器就会呈现“假死”状态，这被称为“阻塞效应”
加载外部脚本时，浏览器会暂停页面渲染，等待脚本下载并执行完成后，再继续渲染
为了防止攻击者篡改外部脚本，script标签允许设置一个integrity属性，写入该外部脚本的 Hash 签名，用来验证脚本的一致性

浏览器环境概述 - JavaScript 教程 - 网道

16 annotations

wangdoc.com

272

如果想要代码容易测试，代码在设计时就应该考虑可测试性
外部依赖我们通常使用Mock和Stub的方式来模拟外部依赖
一个单元测试只做一件事
Arrange-Act-Assert（3A）
判断结果是否符合预期
运行代码
准备数据
不会写单元测试
祖传代码，看都看不懂怎么写单元测试
单元测试运行时间太长
单元测试太费时间了
单元测试来验证代码逻辑是否符合预期
完整可靠的单元测试是代码的安全网

学习单元测试，告别祈祷式编程 - 掘金

13 annotations

juejin.im

492

丘脑室旁核”到“伏隔核
丘脑室旁核”到“中央杏仁核

科学家找到了消除成瘾记忆的“橡皮擦”

2 annotations

mbd.baidu.com

583

数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在
汇聚
开发
资产体系
资产管理
服务体系
数据开发是一整套数据加工以及加工过程管控的工具

一个通用的数据中台架构应该如何构建？ - InfoQ

7 annotations

www.infoq.cn

559

https://github.com/opencontainers/runtime-spec

containers/crun: A fast and lightweight fully featured OCI runtime and C library for running containers

1 annotation

github.com

612

印度首富宣布研发出5G 网友：你家4G网速不如2G

mbd.baidu.com

632

软件定义基础设施 Software Defined Infrastructure

网易云更名“网易数帆”，布局基础软件，向巨头靠拢

1 annotation

mbd.baidu.com

525

背后推手”

揭秘MCN：网红“大红大紫的背后推手”

1 annotation

m.gmw.cn

418

，loader 类似于其他构建工具中“任务(task)”
loader 甚至允许你直接在 JavaScript 模块中 import CSS文件
loader 可以使你在 import 或"加载"模块时预处理文件

loader | webpack 中文网

3 annotations

www.webpackjs.com

578

main header contains the navbar

Main Header Component | AdminLTE 3 Documentation

1 annotation

adminlte.io

435

随机数（或更常见的伪随机数）来解决一些复杂的计算问题

采样之蒙特卡罗方法 - 小糊涂也学要编程 - 博客园

1 annotation

www.cnblogs.com

621

21st July

Awesome Kubernetes

1 annotation

ramitsurana.github.io

675

Month-overMonth (MoM
Week-over-Week (WoW

Visual Analytics Framework for Cloud Infrastructure Data - IEEE Conference Publication

2 annotations

ieeexplore.ieee.org

554

an implementation of CRI for containerd
Image Management
manages images
execute containers
cri-containerd,
A container runtime is software that executes containers and manages container images on a node

Containerd Brings More Container Runtime Options for Kubernetes | Kubernetes

6 annotations

kubernetes.io

445

像立白这样的企业客户借着钉钉确实完成了更快的数字化。
立白团队在钉钉基础上做了深度的定制化开发，形成了自己的协同工具“嘟嘟”。
立白又在钉钉上面也构建了自己的生态
自己是数字新基建，以此构建了一种生态
替阿里巴巴“散布”生态方法论的例子
他们把这套加工整理的工具形容为“中台”

钉钉现在对阿里巴巴意味着什么？

6 annotations

mbd.baidu.com

358

监控与报
数据集成
数据质量
主数据管理
元数据管理

大数据平台下的数据治理 - 云+社区 - 腾讯云

5 annotations

cloud.tencent.com

449

[WIP]TCE-集群数据大盘 - Feishu Docs

bytedance.feishu.cn

431

、部署密度
并发能力
启动速度
软硬一体和云原生
虚拟化技术与CPU、内存、网卡等硬件的天然鸿沟
硬件云原生理念

阿里推出第三代神龙云服务器综合性能提升160%

6 annotations

mbd.baidu.com

569

它希望做到各个企业的自有数据不出本地，联邦系统可以通过加密机制下的参数交换方式，在不违反数据隐私保护法规的情况下，建立一个虚拟的共有模型

联邦学习 - 知乎

1 annotation

zhuanlan.zhihu.com

318

npm (node package manager) is the dependency/package manager
npx your-package
npx is also a CLI tool whose purpose is to make it easy to install and manage dependencies hosted in the npm registry

npm vs npx — What’s the Difference?

3 annotations

www.freecodecamp.org

511

数据采集非常难
采、看、想、做”
数据分析和洞察
简单监控

如何搭建企业数据体系，用数据驱动企业增长

4 annotations

mbd.baidu.com

323

npm install admin-lte@^3.0 --save

Introduction | AdminLTE 3 Documentation

1 annotation

adminlte.io

481

Query 端使用与查询需求更为贴近的数据存储引擎
将系统所有产生业务行为以 append-only 的形式存储起来
使用领域驱动的思路设计查询接口
每一个查询接口设计一个数据视图
查询功能的数据模型
可靠的消息中间件
业务对于数据完整的实时性非常高，那么可能 CQRS 不一定适合你
关系型数据库的事务特性
「领域事件」的方式通知 query 系统
CQRS 的核心思想是将这两类不同的操作进行分离
Command Query Responsibility Segregation
分层的方式将业务逻辑剥离出来，单独进行维护，从而控制业务本身的复杂度
DDD 通过领域对象之间的交互实现业务逻辑与流程

DDD 中的那些模式 — CQRS - InfoQ 写作平台

13 annotations

xie.infoq.cn

618

PCIe和USB
LGA（平面网格数组封装）
PGA（插针网格数组）
厂商为了方便消费者拆装和更换CPU，于是便发明了CPU插槽
机械和电气连接的组件

CPU插槽真的很重要吗？为何CPU厂商总是更换CPU插槽

5 annotations

mbd.baidu.com

412

数据直觉
认为技术要素是促成最终成功的最大驱动力，是一个非常常见的错误
数据科学家应该关注于技术核心
机器学习算法中我们仍然应该专注于基础知识
统计学习方面的理论和方法
通用的特性和语法细节
更关注编程的灵活性
讲述一个激动人心的故事
机器学习核心算法

某首席AI官告诉你：如何2~3年实现薪资翻倍 - 知乎

9 annotations

zhuanlan.zhihu.com

388

数据服务类
SLO 是通过调度来保证的
行存和列存
分析类
复杂查询
点查询
各种查询模式
分析服务
实时数据应用等查询
效果跟踪
实时报表
HSAP 系统向上承接了实时大屏
用户、商品、商家属性数据和海量的用户行为数据经过实时和离线的数据清洗统一进入 HSAP 系统
存储计算分离的架构保证了不需要等待移动 / 拷贝数据就能快速完成这些操作
存储计算分离
查询的峰值能达到平均的 3 倍
写入峰值能达到平均的 2.5 倍
弹性和可扩展性的要求
HSAP 系统对数据的实时性有着很高的要求
每秒钟数千万甚至上亿条事件
海量数据的实时写入
每秒钟数千万个查询
高并发的混合工作负载
HSAP 面临着和已有的大数据以及传统的 OLAP 系统相比很不一样的挑战
具备分析的能力和能够高效地分析并不是一回事
行存的数据格式
实时分析的能力
数据孤岛
另外一个系统提供在线数据服务
业务的洞察
分析海量的数据
服务 / 分析的融合
实时化
批处理
交互式查询
持续聚合
数据服务
预聚合
实时导入
滑动窗口等方式去计算出各种不同维度和时间粒度的特征
大量的用户行为事件
模型的连续更新
实时特征
用户的实时行为做出个性化的推荐
HTAP 的架构
数据定期（比如说每天）同步到一个 OLAP 系统
分析型的 OLAP 系统

大数据的下一站是什么？服务/分析一体化（HSAP） - InfoQ

47 annotations

www.infoq.cn

690

动态多态来创建与控制流相反的源码依赖
用依赖反转原则解决
数据库，网络框架这样的框架和工具
这层其他适配器也需要将数据从类似外部服务的外部的结构，转换成用例和实体使用的内部结构。
并从用例返回到presenters和views
模型基本就是从controllers传递到用例的数据结构
数据转换成从用例和实体最合适的格式
接口适配器
特定应用的业务规则
用例
内部圆不能知道任何外部圆的事
依赖只能向内
实体
可测试
软件分层来达到隔离
隔离关注点

【译】The Clean Architecture - 知乎

16 annotations

zhuanlan.zhihu.com

377

芯片组只负责I/O的管理
CPU、GPU和芯片组
GPU目的只有一个—协助CPU完成高密集的复杂任务
显卡高度并行的特性让
GPU的架构通常会有很多很多相同的处理单元
GPU比CPU更注重于原数据的吞吐量
图形渲染
CPU就需要有效处理很多随机而多样的进程
CPU适合复杂多任务运算，GPU适合并行计算
GPU要比CPU核心数要多得多，达到上千个
到2025年，GPU的计算性能将会提升1000倍。
微处理器的性能确实是每年都会提升50%的

GPU到底是什么，摩尔定律放缓了，高性能GPU会发挥不可替代的作用

12 annotations

baijiahao.baidu.com

447

Bookmark 特性
Priority and Fairness 特性
最大读和写并发数
处理已取消请求的 goruntine
NodeLease 对象 (0.1 KB) 更新请求替换老的 Update Node Status
先扩后缩
优化客户端将请求平衡掉来解决
组件对 API Server 的请求链路健康非常敏感
API Server 的资源优先级设置到最高级别
NodeLease
瓶颈在 Kubernetes API Server
大规模集群维持在健康状态需要全链路优化和调优
压测场景其实非常片面
差异化部署
联合的、可自动生成的生命周期框架
声明式基础设施
Kubernetes 发布还是不够透明
全新的沙箱集群
镜像化
沙箱集群测试
自动化和 CI/CD 是云原生非常重视的理念
Node-Operator 接管了几乎整个蚂蚁金服的物理机生命周期
Node Problem Detector）上报的节点故障信息
面向终态的特性去管理 Worker 节点
声明式编程
自动化维护 Worker 节点
分钟级甚至秒级创建一个 Kubernetes 集群
元集群
业务集群
交付过程封装成 Operator
Kubernetes 运行在 Kubernetes 之上
无差别运行 Kubernetes
Kubernetes 云原生化
过程自动化
云原生技术让开发和迭代敏捷化
功能对齐

一年时间打造全球最大规模之一的Kubernetes集群，蚂蚁金服怎么做到的？ - InfoQ

36 annotations

www.infoq.cn

651

/api/v1
/apis/metrics.k8s.io/v1beta1
Efficient Visualization
Occupation of Nodes by Namespaced Pods
Daily and Monthly Usage Costs
Hourly Usage & Trends
Namespace-focused
namespace level
resource usage reports
hourly, daily, monthly
capacity planning decisions
ease cost allocation
long-term usage
mid-
short-
track the resources being consumed by their Kubernetes clusters to prevent overpaying

rchakode/kube-opex-analytics: Kubernetes Cost Allocation and Capacity Planning Analytics Tool. Built-in hourly, daily, monthly reports - Prometheus exporter - Grafana dashboard.

16 annotations

github.com

347

container is sent the TERM signal.

Pods | Kubernetes

1 annotation

kubernetes.io

360

建立一个容器
依赖关系图
“检索”构建组件的机制
提供”新组件的机制
依赖注入是你的组件（比如go语言中的structs）在创建时应该接收它的依赖关系的思想

Go中的依赖注入 - 简书

5 annotations

www.jianshu.com

531

packages, types, functions, variables and constants

ssa package · pkg.go.dev

1 annotation

pkg.go.dev

469

Example output

protolambda/gocyto: Callgraph analysis and visualization for Go

1 annotation

github.com

436

iris.TLS服务https
iris.Runner

主机服务 · Go Web Iris中文网

2 annotations

studyiris.com

616

router package · pkg.go.dev

pkg.go.dev

630

if NGINX faces any glitches then it will record the event to the error log
logs the activities of all the visitors to your site in the access logs.
/var/log/nginx
access log.
the error log

NGINX Access Logs and Error Logs - JournalDev

5 annotations

www.journaldev.com

626

分组路由由路径前缀分组的一组路由可以（可选）共享相同的中间件处理程序和模板布局。一个组也可以有一个嵌套组。 .Party 正在用于分组路由，开发人员可以声明无限数量的（嵌套）组。
注册顺序执行
第二个可变参数应该包含一个或多个iris.Handler
第一个参数是路由的请求路径

路由 · Go Web Iris中文网

4 annotations

studyiris.com

566

没有什么能阻止您使用自己喜欢的文件夹结构。 Iris是一个低级Web框架，它有MVC一流的支持，但它不限制你的文件夹结构，这是你的选择。
我们通常将所有与http相关的东西存储在一个名为“web”的不同文件夹中
处理Web请求，在服务和客户端之间架起桥梁。
它应该包含大部分域逻辑。
方法函数返回任何类型的任何值，它将按预期发送到客户端

电影MVC应用 · Go Web Iris中文网

5 annotations

studyiris.com

545

API that takes the pod descriptor and provides suggested resources requests
smart algorithm to calculate memory and cpu values based on historic metrics
historic resources usage and OOM events of all pods to suggest new values of the “request” resources spec
VPA Recommender
VPA can also reacts to OOM (out of memory) events
cluster level scalability
Pods layer autoscalers
Vertical Pod Autoscaler (VPA)
Horizontal Pod Autoscaler (HPA)
Autoscaling Building Blocks
different scalability mechanisms
running in a healthy state and running efficiently
scale pods and applications

Kubernetes Autoscaling 101: Cluster Autoscaler, Horizontal Pod Autoscaler, and Vertical Pod Autoscaler

13 annotations

levelup.gitconnected.com

608

mutex contention
a few things confusing

Profiling Go programs with pprof

2 annotations

jvns.ca

652

/var/lib/kubelet/device-plugins/
vendor-domain/vendor-device
vendor independent solution
consistent and portable solution
monitor them
vendors
advertise their resources
Device Manager Proposal

community/device-plugin.md at master · kubernetes/community

8 annotations

github.com

631

mvc application has its own Router which is a type of iris/router.Party
share data between requests
f
BeforeActivation
wikipedia article
The same (or similar) view for one application can be refactored for another application

MVC · kataras/iris Wiki

6 annotations

github.com

663

<router-link> 是一个组件，该组件用于设置一个导航链接，切换不同 HTML 内容。 to 属性为目标地址，即要显示的内容
Vue.js + vue-router 可以很简单的实现单页应用

Vue.js 路由 | 菜鸟教程

2 annotations

www.runoob.com

565

Nvidia 的领域知识
GPU 的花费则是从单 GPU 每小时 10 元 ~ 30 元不等
CPU 通常是一小时几毛钱
深度学习所依赖的异构设备及英伟达的 GPU 支持
Kubernetes 管理 GPU 能带来什么好处呢
GPU 为代表的异构资源
GPU 的容器化
Kubernetes 是容器调度平台
调度单元是容器
构建支持 GPU 的容器镜像；
利用 Docker 将该镜像运行起来
GPU 设备和依赖库映射到容器中
Nvidia 硬件驱动
在宿主机上安装 Nvidia 驱动
而在 CUDA 以上的软件交给容器镜像来做
Mount Bind 的方式映射到容器中
通常大家会使用 Nvidia-docker 来运行 GPU 容器，而 Nvidia-docker 的实际工作就是来自动化做这两个工作
GPU 应用依赖的驱动库
Nvidia 驱动
Nvidia Docker2
Nvidia Device Plugin
节点的状态信息中发现相关的 GPU 信息
limit 字段中指定 nvidia.com/gpu 使用 GPU 的数量
nvidia-smi
启动时刻的资源上报
用户使用时刻的调度和运行
Allocate
ListAndWatch

从零开始入门 K8s | GPU 管理和 Device Plugin 工作机制 - 阿里云云栖社区 - 博客园

28 annotations

www.cnblogs.com

652

A Picture is Worth a Thousand Words
fine-grained context
Scaling Challenge
ad hoc dynamic queries on live event streams
Event Stream Processing
Operational insight
detect, diagnose, and resolve problems
cohesive set of tools
alerting mechanisms
dashboards
proactively detect
exceptional
high availability across such a complicated system
large, complex, and highly distributed

Improving Netflix’s Operational Visibility with Real-Time Insight Tools

14 annotations

netflixtechblog.com

618

alias docker=podman
daemonless, open source, Linux native tool

What is Podman? — Podman documentation

2 annotations

docs.podman.io

535

MVC Controllers are responsible for controlling the flow of the application execution

iris/_examples/mvc/overview at master · kataras/iris

1 annotation

github.com

673

评分函数
GPU卡的连接拓扑
负载局限在卡上绑定的容器数
Allocate的时候调用Redis的信息查看负载情况
外部数据库存放每个节点的GPU负载信息
NVML获取GPU卡的实时状态
任务创建时的真实的GPU负载来动态的决定挂载GPU的id
虚拟id到真实id的映射不能够是通过一个简单的线性映射关系
GPU负载的大体上的平衡
伪造出更多虚拟的GPU ID给K8s
没有考虑GPU的亲和性，
提供共享机制最大化资源的使用
显存分配的策略
没有任何gpu虚拟化
llocate将在容器创建被调用，用来返回一些能够使用主机上该资源的特殊配置，比如一些环境变量，再将这些信息给到Kubelet，并在容器启动的时候传给容器
vendor-domain/resource
K8s注册该资源
Device-Plugin机制本质上是一个RPC服务
AMD GPU等
RDMA设备
NVIDIA_VISIBLE_DEVICES=0,1
环境变量来指定将要挂载的GPU设备
多个Nvidia-Docker可以挂载同一个GPU
主机侧的Nvidia-Driver
libnvidia-container暴露的接口进行交互
Runc会调用一个叫做nvidia-container-runtime-hook的hook
GPU的支持放入一个兼容OCI标准的运行时库拓展libnvidia-container中
Containerd则包装了Runc和其它功能如生命周期管理等，以Daemon的形式运行在主机
Nvidia-Docker来做AI系统环境已经是非常主流的做法
原生Nvidia-Device-Plugin
K8s中将GPU作为拓展资源调度的Device-Plugin机制
容器GPU挂载
GPU调度的通用流程
没有考虑GPU卡之间的通道亲和性
每一块GPU同时最多只能被一个容器使用
Device-Plugin的方式来增加对默认资源(CPU,Memory等)之外的设备
借助Kubernetes来管理Nvidia-Docker，使得GPU任务的分配更加简单和合理，目前已成为几乎所有主流的AI算力平台的方案
容器粒度来管理和使用GPU要比从主机角度容易很多
Nvidia公司为Docker写的Runtime
Nvidia的GPU的利用

如何在Kubernetes实现GPU调度及共享_RancherLabs_传送门

40 annotations

chuansongme.com

667

CRI + containerd ShimV2 revolution
Container Runtime management engine
Sigma/Kubernetes
lower-layer Container Runtime
CRI + containerd shimv2
CRI is the first calling interface in Kubernetes to be divided into plug-ins
remove and decouple the complex features that are originally invasive to the main code from the core library one by one by dividing them into different interfaces and plug-ins
how to connect containerd to the kata container
implementation of Shimv2 API
kata-Containerd-Shimv2
container-shim-v2 in Sandbox
a containerd shim
specify a shim for each Pod
containerd shim for each container
make KataContainers follow containerd
standard interface between the CRI shim and the containerd runtime
Containerd ShimV2
CRI-O
reuse the existing CRI shims
What can a CRI shim do? It can translate CRI requests into Runtime APIs
CRI shim
Dockershim
maintenance
we do not want a project like Docker to have to know what a Pod is and expose the API of a Pod
Containerd-centric API
Container Runtime Interface
multi-tenant
security
Kernel version run by your container is completely different from that run by the Host machine
each Pod now has an Independent kernel
the more layers you build here, the worse your container performance is
SECCOMP
secure Container Runtime
we are concerned about security
each Pod like the KataContainer is a lightweight virtual machine with a complete Linux kernel
a compressed package of your program + data + all dependencies + all directory files
the Container Image
the Container Runtime
runC that helps you set up these namespaces and cgroups, and helps you chroot, building a container required by an application
binding operation
NodeName field of the Pod object
Pods are created, instead of containers
the designs of Kubernetes CRI and Containerd ShimV2
KataContainers
RuntimeClass
ShimV2
container runtime
CRI
design and implementation of key technical features

CRI and ShimV2: A New Idea for Kubernetes Integrating Container Runtime - Alibaba Cloud Community

49 annotations

www.alibabacloud.com

526

DAO 在实际项目中往往会更底层些，它抽象的是不同关系型数据库的异同
领域对象对应的数据存储起来
领域服务就对应了动词
领域对象从某种程度上代表了领域知识中的名词
无法表达业务含义
函数重载(Overload)
数据与方法
「Effective Java」中的开篇就建议大家尽量使用 Factory 工厂模式来创建对象
领域的对象的核心概念

DDD 实践手册(5. Factory 与 Repository) - InfoQ 写作平台

9 annotations

xie.infoq.cn

661

unpack that image into an OCI Runtime filesystem bundle
OCI Image
filesystem bundle
the Image Specification
the Runtime Specification

About the Open Container Initiative - Open Container Initiative

5 annotations

opencontainers.org

677