雜記 › 技術筆記 › 格式化 SQL 後粘貼回來逐字節一樣嗎:8 種字符串寫法對拍全等,2 個未閉合反引號卻靜默配對

格式化 SQL 後粘貼回來逐字節一樣嗎:8 種字符串寫法對拍全等,2 個未閉合反引號卻靜默配對

format-sql 把引號內容一字不改當賣點,本篇量邊界:詞首正則把 U+00A0 起整段算詞首,NBSP 分隔的關鍵詞只切一詞;8 種寫法三檔 24 格對拍全等;兩個未閉合反引號靜默配對;壓縮 13 串僅 4 串同文;統計報碼元差 134。

這一頁的承諾與本篇的帳

format-sql 這頁模板實測 40858 字節、1113 行,自帶一台詞法器,判定到壓縮全在頁面裡跑,<script> 內文 31326 字符整段原樣讀回餵進 node:vm,44 個頂層函數一個沒改。頁面把「格式化只重排空白,不會改動字符串、註釋、標識符裡的內容」寫成賣點,本篇量這條承諾的邊界:詞法定界、前綴斷法、三檔對拍、失敗報錯、最小分隔、統計口徑。

詞首帳:U+00A0 到 U+FFFF 整段算詞首

詞首判定用的正則把 U+00A0 到 U+FFFF 整段算作詞首字符,中文、全角符號、不間斷空格全在區間裡,帳分出三層。裸中文列名 SELECT 中文列名 FROM 表 切出 4 個 token,中文列名整段是 1 個詞 token,沒被逐字切開;SELECT ()a(x) 裡的全角括號按詞內字符並進前詞,整串成一個詞。第三層是不間斷空格:詞法器先測空白再進詞掃描,NBSP 只有在行首位置才當 gap,落在詞中間就算詞內字符——SELECT+NBSP+1+NBSP+FROM+NBSP+t 整串只切出 1 個詞 token,SELECT 和 FROM 誰也沒被認成關鍵詞。

sqIsWordStart 詞首正則 U+00A0 起整段算詞首字符 區間前 中文列名 · 1 個詞 token 全角括號 · 並進前詞 NBSP 分隔整串 · 只切 1 詞

圖 1 詞首區間的帳:整段字符落進同一檔判定,中文、全角、NBSP 各切各樣。

前綴串:連寫 10 檔進一個 token,隔一個空格就斷

E'x'、N'y'、X'4F'、B'01'、U&'z' 加上對應的小寫五族共 10 檔前綴串,實測全部整段進 1 個字符串 token,夾在 SELECT 與 FROM 之間時總 token 數都是 4。斷法也量了:前綴與引號之間隔一個空格,E 'x' 就退化成詞加字符串兩段;U& "x" 更碎,直接切成 3 個片段。斷法兩種都只是定界改變,引號裡的內容沒被動過。

24 格逐字對拍:0 處改寫

8 種字符串寫法(連寫兩個單引號轉義、反斜槓轉義、雙反斜槓、跨行、U& 與 X 前綴串等)對上美化、壓縮、規範空白 3 檔,得到 24 個格子:每格的輸入切片都在對應檔輸出裡逐字出現,實測 24/24 全真、0 處改寫。反引號、方括號、雙引號三種引用標識符同樣三檔全保留。

失敗帳:6 條路徑各有原文,反引號是個例外

未閉合與括號不配對共 6 種路徑,各有專屬報錯原文:

觸發message 原文
反引號少一個` 引號沒有閉合
單引號沒關上' 引號沒有閉合
方括號缺尾方括號標識符沒有閉合,缺少 ]
塊註釋缺尾塊註釋沒有閉合,缺少 */
左括號多括號沒有配對,還有 1 個左括號沒閉合
右括號多右括號多了,沒有配對的左括號

行列號演算法是行等於起點前切片按換行切出的段數、列等於起點下標減去最近一次換行下標:三行樣本裡未閉合引號起點在 26、上一次換行在 15,實測報「第 3 行,第 11 個字符附近」。報錯時結果與面板雙雙清零,6 條路徑下統計五項只有輸入字符數保留真實值。例外帳:同一段裡兩個未閉合反引號會互相配對,SELECT `x 換行接 FROM `y 不報任何錯,產出一個跨行標識符 token 把中間整行吞進引號內容,美化輸出 3 行、統計語句數 1,全程靜默。

行註釋改寫成塊註釋:星斜槓直接洩漏

壓縮檔把行註釋 -- 裝進 /* */ 殼時,不轉義體內的星斜槓。實測 --x*/y 產出 /*x*/y*/:整段再詞法切出 7 個 token,註釋塊只蓋到前一半,y 與後面的星斜槓以詞和運算符的身份進了語句層——頁面提示句寫的「免得把後面的語句吃掉」恰好在這一格與現實衝突。演示樣本在保留與刪除註釋兩檔之間字節差 117,行數倒是差 0。

壓縮檔的最小分隔:sqHazard 只有 3 條規則

壓縮時兩個 token 之間留不留空格全由 sqHazard 決定,規則表共 3 條:前後兩個字符都是運算符字符就留、斜槓接星留、星接斜槓留。拿 13 個構造串壓一遍,與原串逐字節相同的只有 4 個;把這 13 串壓完再詞法一次,11 串的 token 序列不變、2 串變了——SELECT a : : b 壓成冒號分家後,第二個冒號把 b 吸成變量 token,詞數從 5 掉到 4;SELECT $$abc$$ FROM t 壓完把 SELECT 與後串熔成 1 個詞,因為 hazard 不防詞內字符美元符。字母接等號這類組合判不留,1 -1 壓成 1-1 也照舊還原成 3 個 token。

開關只動字節不動判斷:同一演示樣本,縮排 2、4、8 空格與 Tab 四檔輸出 1304 / 1510 / 1922 / 1201 字節而行數恆 72;運算符兩側空格關掉省 25 字節,逗號前置打開多 17 字節;IN 折行閾值填 1、3、6 三檔輸出完全一致,填 99 變 1432 字節、62 行。

sqHazard 規則表 · 只有 3 條 運算符字符相鄰 · 留 斜槓接星、星接斜槓 · 留 13 個構造串壓縮 · 4 串逐字節相同 再詞法 · 11 串不變 · 2 串變 冒號檔 · 後繼詞吸成變量 美元串 · 與關鍵詞熔成 1 詞 字母接等號判不留 · 1 -1 壓成 1-1 可還原

圖 2 最小分隔的帳:3 條規則撐起的表,壓完 4 串同文,再詞法 2 串變樣。

統計行報的是 UTF-16 碼元,不是字節

統計 5 項是語句數、結果行數、結果字符數、最大縮排層級、輸入字符數,兩個字符數報的都是 UTF-16 碼元數:演示樣本輸出報 1376 字符,實際字節是 1510;輸入報 967 字符,實際 1101 字節,兩項都差 134,差額全來自非 ASCII 字符。結果行數按換行切段,串內換行照算,跨行字符串壓完實測報 2 行。文案兩處如實報:$$ 美元引用確認沒有實現,切成標點、標點、詞三片段,與頁面自述一致;? 位置佔位符實測落進運算符 token——詞法表把它算進了運算符字符,與「不會被當成運算符處理」那句對不上,以實測為準。冪等帳兩格:美化輸出 1510 字節再排一遍逐字節相同,壓縮輸出 931 字節同樣冪等。耗時、渲染與下載內容本批未實測。

常見問題

Q:格式化好的 SQL 粘回來再排一次,會逐字節一樣嗎?

美化與壓縮兩檔都冪等:演示樣本 1510 字節的美化輸出再餵回美化逐字節相同,931 字節的壓縮輸出再壓一次也一樣。

Q:引號沒閉合報錯後,之前的結果還在嗎?

不在。6 條未閉合路徑都會清空結果與面板,只剩輸入字符數一項,補全定界符重算即恢復。

Q:統計行的字符數能當字節數用嗎?

不能,它報的是 UTF-16 碼元數,演示樣本與真實字節差 134。要卡字節預算得自己按編碼換算。

這些帳都在 SQL美化壓縮頁內核上實測;同族的 JS美化壓縮那頁也有字符串態,不復用它的數字;註釋落點與 IN 折行判據舊文量過,見 SQL 註釋與 IN 折行,本篇不重做。

📎 相關文章

7 個 tab 出 84 格欄位名:2nd_field 有 6 種寫法,5 個開關只動 Java 一欄 2026-11-20 Excel 轉 JSON 只認 2 條數字正則:0012 變 12、1e5 仍是串,8 格開關矩陣 99 到 192 位元組 2026-11-20 YAML 錨點別名是副本:引用 10 次展開成 697 字元,合併鍵同名時 own 壓過 merged 2026-11-20 3.7 讀成 3、1e3 讀成 1:分數計算器這一頁先在輸入端截成整數,再在 14 個字元處換顯示口徑 2026-11-14 後綴只切最後一個點:archive.tar.gz 分走 gz,photo. 和 .gitignore 擠進同一格,表格首列還會掉一個點 2026-11-14