chewing-cli 是否考慮修正簡單的格式錯誤

[llc0930]

例如：Parsing failed at line 146177: 維德角共和國 40 ㄨㄟˊ ㄉㄜˊ ㄐㄧㄠˇ ㄍㄨㄥˋ ㄏㄜˊ ㄍㄨㄛˊ
會因為國和4中間有兩個空白字元而報錯

[ShikiSuen]

對幾十萬行原始資料的每一個原始行都這麼處理的話，會是非常恐怖的效能開銷。
您有這個需求的話，不如在將檔案交給 chewing-cli 之前用 bash 腳本或者 python 腳本預處理一下？
寫一個 Regex 找到超過一個的連續空格、批次取代成單個 ASCII 空格就好。

[llc0930]

這個數字看起來很大，單純是 chewing-cli 讀取時剛好在該行報錯...
印出訊息長這樣，從終端上面，誰能一眼看出解析錯誤的原因是什麼...
正常的行不也是得解析嗎？不能只考慮針對少數解析錯誤的行試著處理？
老實說我也不介意自己在餵資料前額外跑幾個檢查，反正我也不是每天在建立詞庫...

[ShikiSuen]

@llc0930 您的擔憂也並非沒有道理。只是我也碰巧寫過類似的工具，所以我分享一下從寫扣的人的角度來看的心得而已。

[kanru]

數量不是問題，只是目前沒有時間做而已，歡迎送 PR