给查表汇编器补上 64 位

# 给查表汇编器补上 64 位

9 月 6 日那篇《lib-asm/jit：三条路到机器码》收尾时留过一句编者注：执行层已经移植到 Linux，但**指令表本体 `asm-list.fd` 仍是 32 位编码为主的**，64 位宿主上手写汇编得绕开它。昨天，这块拼图补上了。

## 一个只会查字典的汇编器

`lib-asm-pro` 的 `Compile` 做的事出乎意料地朴素。它逐行读 `#!asm` 块，把每行操作数里的空白规范化剥掉，然后**拿整行字符串去字典里查**：

```
mov rbp,rsp=4889E5
push r12="4154"
lea rdx,[rip%8]=488D15%8
```

左边的键就是汇编文本（去掉多余空格后的样子），右边是机器码模板，`%N` 是参数占位符。查到模板后回填参数：数字按小端字节序填入，`$` 前缀的立即数先做字节交换，`<name>` 占位符则去 `names` 表里找同名 Fun 函数、用 `@toCallback` 把闭包地址烧进机器码。字典本身是 FD 格式的文本，一行一条，文件开头一行是 `#!kvd:=` 声明；运行期以 zlib 压缩形态随包分发，解压后交给 FD 解析路径（前缀去重由 `getJson(fd: true, sse: true)` 处理）。

问题在于这张表的出身。它的键几乎全是 32 位 x86 的形式，而一份手写的加密例程需要的东西恰好都不在里面：**REX 寄存器、r12–r15 的 push/pop、rbp 栈帧、disp8 局部变量、RIP 相对 lea**。没有这些，64 位下能写的汇编就只剩寄存器数学，稍微像样的函数都写不出来。

## 从 174 万条里挑 3250 条

补表的办法不是拍脑袋编，而是**去真实世界里采样**。

上游用 objdump 从 20 个 ELF 二进制里收割了 **174 万条指令**（bash、gcc、perl、git、tar、libcrypto、libz……），把每条反汇编结果**归一到与 `lib-asm-pro.Compile()` 产出完全相同的键形式**，按频次排序取前 4000 条并入原表，最终得到 **+3250 个新键**，覆盖同一语料的 **90.7%**。

| 覆盖率 | 键数 |
| --- | --- |
| 前 200 | ≈ 61% |
| 前 1000 | ≈ 80% |
| 前 4000 | ≈ 90.7% |

表的体量：键数 26788 → 30037，`.fd.2` 467711 → 523406 字节，`.fd.2.gz` 77941 → 93182 字节。新增的正是手写函数绕不开的那些：`push/pop r12-r15`、`mov rbp,rsp`、`test rax,rax`、`sub/add rsp,%2`、`lea rdx,[rip%8]`、`mov qword ptr [rbp%2],rax`、`mov r8,rdi`、`xor r8d,r8d`。

## 归一化：六条必须与编译器一致的规则

收割端生成的键，必须和运行期 `Compile` 算出来的键**逐字符相同**，否则查不到就退化成乱码。这几条是踩出来的：

1. **数字 → `%N`，N 是编码字段的字节数 ×2**（`%2`/`%4`/`%8`/`%16`），不是用户数了几位。所以 `add eax,%2`=`83C0xx` 与 `add eax,%8`=`05xxxxxx` 是两条独立条目。
2. **零位移要写实字节**。`mov qword ptr [rbp],rax` 编码里 disp8=00，键里反而不能带 `%2`：用户那行没有数字，`%2`不会被替换，落成非法机器码。capstone 对 disp=0 会省略 `+ 0x0`，「文本里有数字才占位」得显式实现。
3. **段与绝对地址**：`[fs:0x28]` → `[fs:%8]`，`[0x401000]` → `[%8]`。
4. **负位移写两补字节**：键里写 `[rbp+FC]` 表示 `[rbp-4]`。写成 `[rbp-FC]` 会让 `Compile` 走「`-` 开头就取两补」那条分支，对 `FC` 反复求负直接抛类型错误。
5. **寄存器名里的数字不是位移**：`r14`、`xmm3`、`rbx*8` 都不能当偏移（原型第一版把它们切成了 `[r%0]`）。
6. **fd 值要引号包住「看起来像数字」的**——这条值一个单独的小节。

## 五个字符的坑：4889E5

FD 是自描述的，但它的「数字」判定比想象中宽松。`4889E5` 这种十六进制串**会被解析成浮点数 `4.889e5`**。于是：

```
mov rbp,rsp=4889E5
```

查得到键，回填的值却是浮点，编出来是垃圾。修复规则很简单：凡是匹配 `^[0-9]+([eE][0-9]+)?$` 的值，一律加引号。全表扫一遍，HEAD 上已经有不少引号形式的条目，但**漏了两个**：`popaw=2E6661` 与 `add byte ptr cs:[bx+si],al=2E670000`，都被当成了数字读。没有这次全表检查，`mov rbp,rsp` 会一直是一颗定时炸弹。

## 新键与旧表对账

追加不等于安全，所以新表和老表做了一次逐键对账：

| 情况 | 数量 |
| --- | --- |
| 重合键 | 2793 |
| 编码不一致 | 734 |
| 其中：等价编码择一 | 694 |
| 其中：32 位模式专用 | 40 |
| 真实错误 | 0 |

「等价编码择一」是同一语义有多种合法编码，例如 `add eax,eax`：老表用 `03C0`，反汇编侧给 `01C0`。「32 位模式专用」是长模式下确实不成立的条目，例如 `inc eax=40`（长模式里 `40` 是 REX 前缀）、`mov bl,byte ptr [eax]=8A18`（长模式需要 `67` 地址前缀）。也就是说，**新键是纯追加，没有覆盖或改坏任何既有条目**。

那要不要顺手把长尾裁掉？数据摆在那里：这张表里有约 1.48 万条在 64 位下无法解码，删掉能省约 33 KB 的 gz。但那一批恰恰是 Windows-32 正在用的（`aaa/aad/aam/aas`、单字节 `inc/dec r32`、`pushad`、各种 16 位形式），而**这张表是两端共用的**。结论是暂不裁；真要省，应该按模式拆表，而不是直接删。

## 让这张表自己压缩自己

补表的同时，这几个派生文件还从「手工生成的不可复现 blob」变成了可复现的流水线。链路是三段：

```
asm-list.fd      fd 文本: "#!kvd:=" 加一行一条 key=value
  -- 按行排序, 前缀去重 --> asm-list.fd.2
     "N)rest" = 复用上一行的前 N 个字符, 余下照抄
  -- raw deflate (windowBits -15) --> asm-list.fd.2.gz
```

`.2` 形式的关键是**先排序**。`N)rest` 只记录复用了上一行多少字符，所以只有相邻的键共享长前缀（`mov rax,` / `mov rbx,` / `mov rcx,`）时文件才会缩小；收割来的新条目如果直接追加在文件末尾，前缀几乎无处可共享，反而压不动。

生成这轮的 `make-asm-list.fun` 不到 100 行纯 Fun，用 `lib-tree` 的 `sortList`（超过 1 万条走 qsort）排序、用 `lib-stream` 的 `Stream` 输出，因此**在 Windows 和 Linux 上都能跑**。解压端还有一个易错点：`SseDecompress` 在**第一个** `)` 处切分，所以被复用的前缀里不能含有 `)`——生成端会回退 `k`，直到前缀里没有右括号为止。

## 验证：一个真的 64 位函数

新增回归 `fun/test/lib-asm-x64.fun` 不再只算加减，而是写了一个带完整序言尾声的函数：

```fun
push rbp
mov rbp, rsp
push r12
sub rsp, 10
mov dword ptr [rbp+FC], edi     ; [rbp+FC] = [rbp-4]，disp8 局部变量
mov r12, rsi
mov rax, r12
add rax, rax
add eax, dword ptr [rbp+FC]
add rsp, 10
pop r12
pop rbp
ret
```

它用 rbp 帧、r12（被调用者保存，用完还原）、disp8 局部变量，按 System V AMD64 约定从 rdi/rsi 取参，覆盖的正是这次新加的那批键。回归 **87/87** 通过。

## 结语

一个查表汇编器没有标签解析、没有相对跳转重定位，它的能力边界**就是这张表的边界**。所以「补表」本身就是「长能力」：把真实世界最常用的那 3250 种写法收进字典，`#!asm` 才真正能在 64 位上写函数。

而这张表还顺手学会了压缩自己：排序、前缀去重、raw deflate，三步都可复现、两端通用。这类基础设施平时没人看见，但它决定了上层能写出什么。