这一页的承诺与本篇的账
format-sql 这页模板实测 40858 字节、1113 行,自带一台词法器,判定到压缩全在页面里跑,<script> 内文 31326 字符整段原样读回喂进 node:vm,44 个顶层函数一个没改。页面把「格式化只重排空白,不会改动字符串、注释、标识符里的内容」写成卖点,本篇量这条承诺的边界:词法定界、前缀断法、三档对拍、失败报错、最小分隔、统计口径。
词首账:U+00A0 到 U+FFFF 整段算词首
词首判定用的正则把 U+00A0 到 U+FFFF 整段算作词首字符,中文、全角符号、不间断空格全在区间里,账分出三层。裸中文列名 SELECT 中文列名 FROM 表 切出 4 个 token,中文列名整段是 1 个词 token,没被逐字切开;SELECT ()a(x) 里的全角括号按词内字符并进前词,整串成一个词。第三层是不间断空格:词法器先测空白再进词扫描,NBSP 只有在行首位置才当 gap,落在词中间就算词内字符——SELECT+NBSP+1+NBSP+FROM+NBSP+t 整串只切出 1 个词 token,SELECT 和 FROM 谁也没被认成关键词。
图 1 词首区间的账:整段字符落进同一档判定,中文、全角、NBSP 各切各样。
前缀串:连写 10 档进一个 token,隔一个空格就断
E'x'、N'y'、X'4F'、B'01'、U&'z' 加上对应的小写五族共 10 档前缀串,实测全部整段进 1 个字符串 token,夹在 SELECT 与 FROM 之间时总 token 数都是 4。断法也量了:前缀与引号之间隔一个空格,E 'x' 就退化成词加字符串两段;U& "x" 更碎,直接切成 3 个片段。断法两种都只是定界改变,引号里的内容没被动过。
24 格逐字对拍:0 处改写
8 种字符串写法(连写两个单引号转义、反斜杠转义、双反斜杠、跨行、U& 与 X 前缀串等)对上美化、压缩、规范空白 3 档,得到 24 个格子:每格的输入切片都在对应档输出里逐字出现,实测 24/24 全真、0 处改写。反引号、方括号、双引号三种引用标识符同样三档全保留。
失败账:6 条路径各有原文,反引号是个例外
未闭合与括号不配对共 6 种路径,各有专属报错原文:
| 触发 | message 原文 |
|---|---|
| 反引号少一个 | ` 引号没有闭合 |
| 单引号没关上 | ' 引号没有闭合 |
| 方括号缺尾 | 方括号标识符没有闭合,缺少 ] |
| 块注释缺尾 | 块注释没有闭合,缺少 */ |
| 左括号多 | 括号没有配对,还有 1 个左括号没闭合 |
| 右括号多 | 右括号多了,没有配对的左括号 |
行列号算法是行等于起点前切片按换行切出的段数、列等于起点下标减去最近一次换行下标:三行样本里未闭合引号起点在 26、上一次换行在 15,实测报「第 3 行,第 11 个字符附近」。报错时结果与面板双双清零,6 条路径下统计五项只有输入字符数保留真实值。例外账:同一段里两个未闭合反引号会互相配对,SELECT `x 换行接 FROM `y 不报任何错,产出一个跨行标识符 token 把中间整行吞进引号内容,美化输出 3 行、统计语句数 1,全程静默。
行注释改写成块注释:星斜杠直接泄漏
压缩档把行注释 -- 装进 /* */ 壳时,不转义体内的星斜杠。实测 --x*/y 产出 /*x*/y*/:整段再词法切出 7 个 token,注释块只盖到前一半,y 与后面的星斜杠以词和运算符的身份进了语句层——页面提示句写的「免得把后面的语句吃掉」恰好在这一格与现实冲突。演示样本在保留与删除注释两档之间字节差 117,行数倒是差 0。
压缩档的最小分隔:sqHazard 只有 3 条规则
压缩时两个 token 之间留不留空格全由 sqHazard 决定,规则表共 3 条:前后两个字符都是运算符字符就留、斜杠接星留、星接斜杠留。拿 13 个构造串压一遍,与原串逐字节相同的只有 4 个;把这 13 串压完再词法一次,11 串的 token 序列不变、2 串变了——SELECT a : : b 压成冒号分家后,第二个冒号把 b 吸成变量 token,词数从 5 掉到 4;SELECT $$abc$$ FROM t 压完把 SELECT 与后串熔成 1 个词,因为 hazard 不防词内字符美元符。字母接等号这类组合判不留,1 -1 压成 1-1 也照旧还原成 3 个 token。
开关只动字节不动判断:同一演示样本,缩进 2、4、8 空格与 Tab 四档输出 1304 / 1510 / 1922 / 1201 字节而行数恒 72;运算符两侧空格关掉省 25 字节,逗号前置打开多 17 字节;IN 折行阈值填 1、3、6 三档输出完全一致,填 99 变 1432 字节、62 行。
图 2 最小分隔的账:3 条规则撑起的表,压完 4 串同文,再词法 2 串变样。
统计行报的是 UTF-16 码元,不是字节
统计 5 项是语句数、结果行数、结果字符数、最大缩进层级、输入字符数,两个字符数报的都是 UTF-16 码元数:演示样本输出报 1376 字符,实际字节是 1510;输入报 967 字符,实际 1101 字节,两项都差 134,差额全来自非 ASCII 字符。结果行数按换行切段,串内换行照算,跨行字符串压完实测报 2 行。文案两处如实报:$$ 美元引用确认没有实现,切成标点、标点、词三片段,与页面自述一致;? 位置占位符实测落进运算符 token——词法表把它算进了运算符字符,与「不会被当成运算符处理」那句对不上,以实测为准。幂等账两格:美化输出 1510 字节再排一遍逐字节相同,压缩输出 931 字节同样幂等。耗时、渲染与下载内容本批未实测。
常见问题
Q:格式化好的 SQL 粘回来再排一次,会逐字节一样吗?
美化与压缩两档都幂等:演示样本 1510 字节的美化输出再喂回美化逐字节相同,931 字节的压缩输出再压一次也一样。
Q:引号没闭合报错后,之前的结果还在吗?
不在。6 条未闭合路径都会清空结果与面板,只剩输入字符数一项,补全定界符重算即恢复。
Q:统计行的字符数能当字节数用吗?
不能,它报的是 UTF-16 码元数,演示样本与真实字节差 134。要卡字节预算得自己按编码换算。
这些账都在 SQL美化压缩页内核上实测;同族的 JS美化压缩那页也有字符串态,不复用它的数字;注释落点与 IN 折行判据旧文量过,见 SQL 注释与 IN 折行,本篇不重做。