這一頁的承諾與本篇的帳
format-sql 這頁模板實測 40858 字節、1113 行,自帶一台詞法器,判定到壓縮全在頁面裡跑,<script> 內文 31326 字符整段原樣讀回餵進 node:vm,44 個頂層函數一個沒改。頁面把「格式化只重排空白,不會改動字符串、註釋、標識符裡的內容」寫成賣點,本篇量這條承諾的邊界:詞法定界、前綴斷法、三檔對拍、失敗報錯、最小分隔、統計口徑。
詞首帳:U+00A0 到 U+FFFF 整段算詞首
詞首判定用的正則把 U+00A0 到 U+FFFF 整段算作詞首字符,中文、全角符號、不間斷空格全在區間裡,帳分出三層。裸中文列名 SELECT 中文列名 FROM 表 切出 4 個 token,中文列名整段是 1 個詞 token,沒被逐字切開;SELECT ()a(x) 裡的全角括號按詞內字符並進前詞,整串成一個詞。第三層是不間斷空格:詞法器先測空白再進詞掃描,NBSP 只有在行首位置才當 gap,落在詞中間就算詞內字符——SELECT+NBSP+1+NBSP+FROM+NBSP+t 整串只切出 1 個詞 token,SELECT 和 FROM 誰也沒被認成關鍵詞。
圖 1 詞首區間的帳:整段字符落進同一檔判定,中文、全角、NBSP 各切各樣。
前綴串:連寫 10 檔進一個 token,隔一個空格就斷
E'x'、N'y'、X'4F'、B'01'、U&'z' 加上對應的小寫五族共 10 檔前綴串,實測全部整段進 1 個字符串 token,夾在 SELECT 與 FROM 之間時總 token 數都是 4。斷法也量了:前綴與引號之間隔一個空格,E 'x' 就退化成詞加字符串兩段;U& "x" 更碎,直接切成 3 個片段。斷法兩種都只是定界改變,引號裡的內容沒被動過。
24 格逐字對拍:0 處改寫
8 種字符串寫法(連寫兩個單引號轉義、反斜槓轉義、雙反斜槓、跨行、U& 與 X 前綴串等)對上美化、壓縮、規範空白 3 檔,得到 24 個格子:每格的輸入切片都在對應檔輸出裡逐字出現,實測 24/24 全真、0 處改寫。反引號、方括號、雙引號三種引用標識符同樣三檔全保留。
失敗帳:6 條路徑各有原文,反引號是個例外
未閉合與括號不配對共 6 種路徑,各有專屬報錯原文:
| 觸發 | message 原文 |
|---|---|
| 反引號少一個 | ` 引號沒有閉合 |
| 單引號沒關上 | ' 引號沒有閉合 |
| 方括號缺尾 | 方括號標識符沒有閉合,缺少 ] |
| 塊註釋缺尾 | 塊註釋沒有閉合,缺少 */ |
| 左括號多 | 括號沒有配對,還有 1 個左括號沒閉合 |
| 右括號多 | 右括號多了,沒有配對的左括號 |
行列號演算法是行等於起點前切片按換行切出的段數、列等於起點下標減去最近一次換行下標:三行樣本裡未閉合引號起點在 26、上一次換行在 15,實測報「第 3 行,第 11 個字符附近」。報錯時結果與面板雙雙清零,6 條路徑下統計五項只有輸入字符數保留真實值。例外帳:同一段裡兩個未閉合反引號會互相配對,SELECT `x 換行接 FROM `y 不報任何錯,產出一個跨行標識符 token 把中間整行吞進引號內容,美化輸出 3 行、統計語句數 1,全程靜默。
行註釋改寫成塊註釋:星斜槓直接洩漏
壓縮檔把行註釋 -- 裝進 /* */ 殼時,不轉義體內的星斜槓。實測 --x*/y 產出 /*x*/y*/:整段再詞法切出 7 個 token,註釋塊只蓋到前一半,y 與後面的星斜槓以詞和運算符的身份進了語句層——頁面提示句寫的「免得把後面的語句吃掉」恰好在這一格與現實衝突。演示樣本在保留與刪除註釋兩檔之間字節差 117,行數倒是差 0。
壓縮檔的最小分隔:sqHazard 只有 3 條規則
壓縮時兩個 token 之間留不留空格全由 sqHazard 決定,規則表共 3 條:前後兩個字符都是運算符字符就留、斜槓接星留、星接斜槓留。拿 13 個構造串壓一遍,與原串逐字節相同的只有 4 個;把這 13 串壓完再詞法一次,11 串的 token 序列不變、2 串變了——SELECT a : : b 壓成冒號分家後,第二個冒號把 b 吸成變量 token,詞數從 5 掉到 4;SELECT $$abc$$ FROM t 壓完把 SELECT 與後串熔成 1 個詞,因為 hazard 不防詞內字符美元符。字母接等號這類組合判不留,1 -1 壓成 1-1 也照舊還原成 3 個 token。
開關只動字節不動判斷:同一演示樣本,縮排 2、4、8 空格與 Tab 四檔輸出 1304 / 1510 / 1922 / 1201 字節而行數恆 72;運算符兩側空格關掉省 25 字節,逗號前置打開多 17 字節;IN 折行閾值填 1、3、6 三檔輸出完全一致,填 99 變 1432 字節、62 行。
圖 2 最小分隔的帳:3 條規則撐起的表,壓完 4 串同文,再詞法 2 串變樣。
統計行報的是 UTF-16 碼元,不是字節
統計 5 項是語句數、結果行數、結果字符數、最大縮排層級、輸入字符數,兩個字符數報的都是 UTF-16 碼元數:演示樣本輸出報 1376 字符,實際字節是 1510;輸入報 967 字符,實際 1101 字節,兩項都差 134,差額全來自非 ASCII 字符。結果行數按換行切段,串內換行照算,跨行字符串壓完實測報 2 行。文案兩處如實報:$$ 美元引用確認沒有實現,切成標點、標點、詞三片段,與頁面自述一致;? 位置佔位符實測落進運算符 token——詞法表把它算進了運算符字符,與「不會被當成運算符處理」那句對不上,以實測為準。冪等帳兩格:美化輸出 1510 字節再排一遍逐字節相同,壓縮輸出 931 字節同樣冪等。耗時、渲染與下載內容本批未實測。
常見問題
Q:格式化好的 SQL 粘回來再排一次,會逐字節一樣嗎?
美化與壓縮兩檔都冪等:演示樣本 1510 字節的美化輸出再餵回美化逐字節相同,931 字節的壓縮輸出再壓一次也一樣。
Q:引號沒閉合報錯後,之前的結果還在嗎?
不在。6 條未閉合路徑都會清空結果與面板,只剩輸入字符數一項,補全定界符重算即恢復。
Q:統計行的字符數能當字節數用嗎?
不能,它報的是 UTF-16 碼元數,演示樣本與真實字節差 134。要卡字節預算得自己按編碼換算。
這些帳都在 SQL美化壓縮頁內核上實測;同族的 JS美化壓縮那頁也有字符串態,不復用它的數字;註釋落點與 IN 折行判據舊文量過,見 SQL 註釋與 IN 折行,本篇不重做。