Linux I/O体系七层：
VFS
适配各种文件系统，对外提供统一API
磁盘：EXT,XFS …
网络：NFS, CIFS …
特殊：/proc，裸设备
磁盘缓存
磁盘数据驻留 RAM
映射层
确定数据在物理设备上的位置
通用块层
绝大多数I/O操作是跟块设备打交道
下层对接各种不同属性的块设备，对上提供统一的Block IO请求标准
I/O调度层
管理块设备的请求队列，有利于减少磁盘寻址时间，提高全局吞吐量
大多数块设备都是磁盘设备
根据设备及应用特点设置不同的调度器
块设备驱动
设备操作接口
物理硬盘
通信异常
不可用、延时、丢失
网络分区(脑裂)
系统分化出两个网络组，组内都正常通讯，但组间通讯被阻隔
三态
成功，失败和超时时（请求者无法判断当前请求是否成功处理）
节点故障
宕机，僵死，器件损坏等
保证共享资源一致性
实现事务隔离性
会出现死锁（锁是逐步获得的）；锁定粒度最小，发生锁冲突的概率最低，并发度也最高存储引擎各自实现锁机制，server层不感知存储引擎的锁实现
共享锁（S）
排他锁（X）
意向共享锁（IS）：事务打算给数据行加行共享锁，事务在给一个数据行加共享锁前必须先取得该表的 IS 锁
意向排他锁（IX）：事务打算给数据行加行排他锁，事务在给一个数据行加排他锁前必须先取得该表的 IX 锁
允许行锁和表锁共存，实现多粒度锁机制
事务执行过程中，使用两阶段锁协议：
随时都可以执行锁定，InnoDB会根据隔离级别在需要的时候自动加锁
锁只有在执行commit或者rollback的时候才会释放，并且所有的锁都是在 ``同一时刻` 被释放
select ... lock in share mode
select ... for update
select id,value,version from TABLE where id = #{id}
更新时，为防止发生冲突，需要这样操作
update TABLE
set value=2,version=version+1
where id=#{id} and version=#{version}
失败后重试或回滚
直接调用数据库的相关语句
悲观锁涉及的另外两个锁概念：共享锁与排它锁
共享锁（S）：
SELECT * FROM table_name WHERE ... LOCK IN SHARE MODE
确保自己查到的数据没有被其他的事务正在修改，也就是说确保查到的数据是最新的数据，并且不允许其他人来修改数据（获取数据上的排他锁）
自己不一定能够修改数据，因为有可能其他的事务也对这些数据 使用了 in share mode 的方式上了 S 锁
当前事务对读锁进行修改操作，很可能会造成死锁
create table innodb_lock(
id bigint primary key auto_increment,
v int
);
insert into innodb_lock (id,v) values(1,'dd');
| Transaction A | Transaction B |
|---|---|
| set autocommit=0;select * from innodb_lock where id=1 lock in share mode; | set autocommit=0;select * from innodb_lock where id=1 lock in share mode; |
| update innodb_lock set v=2 where id=1; 等待 |
|
| 等待 | update innodb_lock set v=2 where id=1; Deadlock found when trying to get lock; try restarting transaction |
| Affected rows: 1 |
排他锁（X)：
SELECT * FROM table_name WHERE ... FOR UPDATE
自己查到的数据确保是最新数据，并且查到后的数据只允许自己来修改
一是内存爆了要用 LRU、LFU、FIFO 清理，否则磁盘SWAP，性能急剧下降
二是超时键过期要删除，用主动或惰性的方法
定时过期：
每个设置过expire时间的key都要创建一个定时器，到期立即清除
该策略可以立即清除过期的数据，对内存很友好
但占用大量CPU资源处理过期数据，从而影响响应时间和吞吐量
惰性过期：
访问key才会判断该key是否已过期，过期则清除
该策略可最大化节省CPU资源，却对内存非常不友好
极端情况可能出现大量过期key没有再次被访问，而不会被清除，占用大量内存
定期过期：
每隔一定的时间，扫描一定数量expires字典中一定数量的key，并清除其中已过期的key
该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时，可在不同情况下使CPU和内存资源达到最优的平衡效果
(expires字典，key指向键的指针，value是该键的毫秒精度UNIX时间戳)
Redis同时使用惰性过期和定期过期两种
内核线程
创建 / 撤消由内核内部需求决定，不需和用户进程联系起来
共享内核全局数据，具有自己的内核堆栈
能单独被调度且用标准的内核同步机制，可被单独分配到一个处理器上运行
调度不需要经过态的转换并进行地址空间的重新映射，内核线程间上下文切换比在进程间做上下文切换快得多
轻量级进程 LWP
内核支持的用户线程，在一个单独的进程中提供多线程控制
这些轻量级进程被单独的调度，可以在多个处理器上运行，每一个轻量级进程都被绑定在一个内核线程上
独立调度并且共享地址空间和进程中的其它资源
但每个 LWP 都应该有自己的程序计数器、寄存器集合、核心栈和用户栈
用户线程
如通过线程库实现，提供同步和调度的方法
可在没有内核参与下创建、释放和管理，不消耗内核资源，省去大量系统开销
用户线程的上下文可以在没有内核干预的情况下保存和恢复
每个用户线程都可以有自己的用户堆栈，一块用来保存用户级寄存器上下文以及如信号屏蔽等状态信息的内存区
库通过保存当前线程的堆栈和寄存器内容载入新调度线程的那些内容来实现用户线程之间的调度和上下文切换
内核仍然负责进程的切换，因为只有内核具有修改内存管理寄存器的权力
用户线程不是真正的调度实体，内核对它们一无所知，而只是调度用户线程下的进程或者轻量级进程，这些进程再通过线程库函数来调度它们的线程
当一个进程被抢占时，它的所有用户线程都被抢占，当一个用户线程被阻塞时，它会阻塞下面的轻量级进程，如果进程只有一个轻量级进程，则它的所有用户线程都会被阻塞
Linux2.4 前：LinuxThread
Linux2.5 后：NPTL
fork & pthread_create 都调用的 clone
clone系统调用 ，参数包括如 CLONE_VM, CLONE_FILES, CLONE_SIGHAND 等，指定了克隆时需要拷贝的东西
fork
调用 clone 时不设置 CLONE_VM
内核看来就是产生了两个拥有不同内存空间的进程
pthread_create
调用 clone 时设置了 CLONE_VM
内核看来就是产生了两个拥有相同内存空间的进程
通过 clone 的参数共享进程资源，创建出的就是 LWP
所以用户态创建一个新线程，内核态就对应生成一个新进程
毕加索的牛抽象过程，一步一步隐藏细节
Java 程序以虚拟机为中介，运行于各平台上，实现跨平台的特性
Sun Classic JVM，纯解释型 JVM 实现
Exact VM
现代高性能虚拟机的雏形
两级即时编译器编译器和解释器混合工作模式 准确式内存(虚拟机可以知道内存位置的数据具体类型,reference还是value,GC时准确判断可达 )Sun 收购 Longview Technologies的 HostSpot JVM，成 JDK1.3 及之后的默认虚拟机
热点代码探测能力
BEA JRockit
IBM J9
AOT编译
class data sharing(一些核心类在每个JVM间共享)
oracle jdk8 的 HostSpot
以前的HotSpot VM与JRockit VM的合并版
JRockit 一些有价值的功能在HotSpot重新实现一遍。移除PermGen、Java Flight Recorder、jcmd等都属于合并项目的一部分
Zing VM
gc C4: The Continuously Concurrent Compacting Collector
利用之前收集到的profile数据，引导JVM在启动后快速达到稳定的高性能水平，减少启动后从解释执行到JIT编译的等待时间
找出代码热点到对象分配监控、锁竞争监控等
手动GC 易产生内存泄漏，直到内存溢出
引用计数
标记清除
现代垃圾回收算法的思想基础
回收后的空间是不连续的，之后在不连续的内存空间中分配的效率要低于连续的空间
经典标记复制
解决标记清除算法内存回收后不连续的问题而衍生
jvm
JVM 很多垃圾回收器都用到标记复制思想，为解决经典标记复制算法中内存折半问题，JVM 将内存划分为 3 个区
from 和 to 大小相同，地位相等，且可角色互换
from 和 to 也被称为 survivor 空间，即幸存者空间，用于存放未被回收的对象
GC 时，从根节点出发，标记 eden 和 from 区所有存活对象，然后将这些对象复制到 to 区。而下次进行垃圾回收时，to 和 from 区角色互换，将 to 区 和 eden 区的幸存对象复制到 from 区
通过这种方法，解决经典标记复制算法中内存折半问题
通过调整 eden 区，from 区和 to 区的比例，来控制内存的利用率
标记压缩
新生代： 复制算法的高效性建立在存活对象少、垃圾对象多的前提下
老年代： 大部分对象都是存活对象，再用复制算法, 复制成本高
和标记清除一样, 可达标记，但之后, 不只清理未标记的对象, 而将所有的存活对象压缩到内存的一端，之后, 清理边界外所有的空间
既避免了碎片的产生, 又不需要两块相同的内存空间,性价比高
所以标记复制算法和标记压缩算法分别代表了空间换时间和时间换空间思想，并分别活跃在各自擅长的场景中
基本作用是保护临界区资源不会被多个线程同时访问而受到破坏
通过锁, 可以让多个线程排队, 一个一个地进入临界区访问目标对象, 使目标对象的状态总是保持一致
synchronized 方法和 synchronized 代码块:
public class Test {
public void synchronizedBlock() {
synchronized (this) {
System.out.println("synchronizedMethod");
}
}
public synchronized void synchronizedMethod() {
System.out.println("synchronizedMethod");
}
}
从字节码中，编译器会将同步代码块用 monitorenter 和 monitorexit 包裹
同步方法，通过函数的的 access flags 进行标识，当执行有 synchronized 标识的函数时，最后也会调用 monitorenter 和 monitorexit 基本一样的逻辑
类似于 C 结构体描述，统一用无符号整数作为基本数据类型
u1、u2、u4、u8 表示无符号单字节、2 、4 、8 字节，字符串用 u1 数组进行表示
ClassFile {
u4 magic;
u2 minor_version;
u2 major_version;
u2 constant_pool_count;
cp_info constant_pool[constant_pool_count-1];
u2 access_flags;
u2 this_class;
u2 super_class;
u2 interfaces_count;
u2 interfaces[interfaces_count];
u2 fields_count;
field_info fields[fields_count];
u2 methods_count;
method_info methods[methods_count];
u2 attributes_count;
attribute_info attributes[attributes_count];
}