大家好，我們是成都小火科技，今天是2025年6月30日，星期一。我們公司成立于2013年，有自己的全棧技術開發團隊。目前我們開發的APP等軟件系統中，90%都有AI的功能。可以這樣說，AI可以讓傳統的軟件更進一步，甲方可以選擇接入AI功能，或者重新開發AI相關的功能。  

去年我們接了個高校的需求，他們想要一套AI文檔查重系統，解決畢業論文抄襲檢測的問題。當時市面上的查重工具只能查文字重復，遇到圖表、公式就歇菜，而我們的目標是做全類型文檔的查重。開發初期，我們用傳統的TF-IDF算法測試，發現對改寫后的文本識別率只有60%，比如“軟件開發”換成“軟件研發”就識別不出來，這讓我們意識到必須上深度學習模型。  

核心技術架構上，我們采用了“文本向量化+圖神經網絡”的方案。先用BERT模型把文檔轉換成768維的語義向量，這樣即使句子結構改變，意思相近的文本也能被識別。記得訓練模型時，我們爬取了10億字的學術文獻做語料庫，用了8塊GPU跑了三天三夜，才把模型準確率提升到92%。然后用圖神經網絡建模文檔間的引用關系，比如A文檔引用B文檔的某個觀點，即使文字表述不同，系統也能識別出關聯。 

文檔預處理模塊藏著很多細節。我們支持20多種格式解析，像PDF、Word、PPT都得轉換成純文本。遇到掃描版文檔，還得用OCR技術識別文字，起初用開源的Tesseract，在復雜排版下識別率只有75%，后來我們用PaddleOCR做了定制訓練，識別率才提到90%。公式處理更麻煩，傳統方法把公式轉成Latex字符串比對，但“y=kx+b”和“kx+b=y”會被當成不同公式，后來我們用符號計算庫SymPy解析公式結構，準確率提升到85%。  相似度計算模塊我們做了三級優化。初級階段用余弦相似度比對語義向量，速度快但不夠精準；中級階段用編輯距離計算句子相似度，能識別改寫后的文本；高級階段引入強化學習，讓模型根據歷史查重結果自動調整權重。有次檢測一篇論文，系統發現作者把某段話拆分成三段混在文中，普通算法沒識別出來，但我們的強化學習模型通過上下文關聯，準確標記了重復區域。 

系統還加入了AI輔助降重功能。用戶上傳文檔后，系統不僅標出重復處，還會給出改寫建議，比如“建議將‘軟件開發流程’替換為‘軟件研發生命周期’”。這個功能用了序列到序列（Seq2Seq）模型，我們用100萬對“原文-改寫”數據訓練，現在建議的可讀性達到82%。有個學生用了降重功能后，論文重復率從35%降到了8%，還特意給我們發來了感謝信。  在隱私保護方面，我們做了三層防護。文檔上傳時用AES-256加密，存儲時拆分成1024個碎片存在不同服務器，查重完成后72小時自動刪除。記得給某律所做項目時，他們要求本地部署，我們就開發了離線版查重系統，所有計算都在本地服務器完成，斷網狀態下也能使用，那次項目讓我們積累了私有化部署的經驗。 

現在這個系統已經迭代到3.0版本，新加入了跨語言查重功能。我們用mBERT多語言模型，能檢測中文、英文、日文等10種語言的文檔重復。有次幫出版社檢測一本翻譯書，發現譯者大段照搬了另一本已出版書籍的內容，跨語言查重功能準確識別出了問題。目前系統每天處理超過20萬篇文檔，最高并發時能同時檢測5000篇，響應時間控制在15秒以內。  

開發過程中遇到過不少挑戰。有次處理古籍文檔，里面的繁體字和異體字讓模型犯了難，我們只好手動構建了3萬字的古籍詞庫，才解決了這個問題。還有圖表查重，我們用計算機視覺技術提取圖表特征，比如折線圖的走勢、柱狀圖的比例，現在圖表重復識別率達到78%。這些細節優化讓系統不僅能查文字，還能查公式、圖表、甚至代碼片段，真正實現了全類型文檔的智能查重。

文章來源網址：http://www.shmme.net/archives/xitongkaifa01/1953，轉載請注明出處！