★ 濟南博觀智能科技有限公司 

1　目標和概述 

傳統的生產線對人工判斷監測依賴程度高，人工作 業存在疲勞以及評判標準的不一。對企業生產商來說無 法實現有效質量監管， 大批量的次品流入消費者市場 必然會引起客訴，進而影響品牌方生產企業的形象。

 以糧油生產為例，目前行業對于包裝袋的縫線識 別，大多工廠僅依靠人工目檢完成，自動化程度低。在 這種情況下，博觀糧油機器視覺解決方案的應用落地， 采用視覺大模型的低代碼算法訓練平臺能夠快速實現流 水線所需碎片化算法訓練，提高檢測精度， 減輕糧油 工廠的人力成本，從生產環節入手創造更多價值，助力 工廠降本增效，推動糧食加工企業向規模化生產和集約 化經營方向轉變，實現智慧升級，綜合來看具有較高的 場景價值性。

 博觀糧油機器視覺解決方案，借助機器視覺質檢平 臺，以網絡覆蓋智能制造工廠為切入點，從行業生產線 視覺外觀缺陷檢測和字符信息識別兩大方面入手進行功 能提升，整體視覺方案除應用于糧油生產以外，未來還 可應用于3C電子、新能源等行業。該方案在不改變現 有工廠生產制造流水線的前提下，定制化提供機器視覺 硬件外設環境，依靠獨立開發的深度學習算法檢測平臺 MVIP和視覺業務軟件BreVision，智能化實現視覺檢 測代替人工檢測的需求，達到工廠降本增效和柔性生產 的目標。

 2　方案介紹 

2.1　核心技術 

2.1.1　OCR字符檢測識 

OCR檢測獲取的面粉袋噴印側圖像， 如圖1所示， 可識別生產日期、合格信息等，并可判斷字符的完整性。 

 圖1 OCR檢測

（1）端到端識別算法 

該項目采用了端到端的字符識別技術，以保證整個 功能的高效、準確。區別于傳統的識別算法，如圖2所 示，端到端識別算法無需文字定位、定點、識別多個步 驟，僅需輸入原始圖像即可輸出識別結果，在節約耗時 的同時最大程度挖掘可用信息。

 圖2 端到端識別算法 

（2）圖像增強&修復技術 

在工業視覺領域，圖像的清晰度一直是一個關鍵問 題，受限于應用場景、工業攝像頭的成像質量，獲取的 初始圖像往往不會非常清晰。為了應對這樣的問題，該 項目加入了基于深度學習的圖像增強與修復技術，在識 別算法的開端加入該模塊，如圖3所示，從根本上解決 字符不清晰或字符有污損的問題。 

圖3 圖像增強與修復 

（3）完整性判斷 

在實際應用中，經常面臨的另一個問題是字符不完 整和缺位數問題，為此該項目引入完整性判斷模塊，根 據字符的分布、深層圖像信息，確定送入的字符塊是否完整。若出現字符明顯殘缺，則判斷為異常樣本，進行告警。

 總之，OCR算法在工業場景需要保持高穩定、高 精度和可復制性，便于支持工業環境中不同產線的要 求，比如全天候光線變化、褶皺導致字體變形、噴碼在 畫面任意位置、字體格式、不同大小等情況，在為企業 降本增效的同時，做到智能化設備本身的成本控制。

 2.1.2　縫線完整性缺陷檢測識別

 圖4 縫線檢測 

縫線檢測通過配置ROI區域，獲取面粉袋的注意力 區域，通過異常抓拍的識別模型判斷是否為正常拍攝的 圖像，最后通過縫線異常判斷模型，檢測其縫線是否完整，如圖4所示。 

（1）滑動ROI 

在ROI配置過程中，由于面粉袋位置發生移動和扭 曲，導致配置的ROI區域并不準確，出現大量無效的背 景影響判別效果。為解決此問題，在實際使用過程中， 使用滑動ROI，算法會根據面粉袋的邊緣位置得到較為 準確的封口區域，如圖5所示。

 圖5 滑動ROI 

（2）異常拍攝判斷 

由于生產現場的復雜環境以及相機拍攝的不確定性，實際情況中會時而出現異常拍攝的數據，例如未拍 攝到面粉袋、拍攝的面粉袋不完全、拍攝到工作人員等等。這些異常數據會對檢測算法產生干擾，從而影響最 終效果，所以算法需要先判斷是否為正常拍攝圖像，剔 除異常拍攝圖片后可大大提升算法精度。如圖6所示， 分別為正常拍攝、拍攝部分袋子和設備空拍的圖像。在 實際使用時，加入異常拍攝判斷，存在空拍時進行算法 剔除。

 圖6 異常拍攝圖像 

（3）縫線異常判斷 

通過上述流程之后，圖片被送入最終的縫線檢測模 型，判別封口是否縫上，保證面粉在運輸過程中，不發 生灑、漏等問題。此過程中會出現跳線、彎曲、褶皺、 小口、過曝、過暗等各種形態的樣本，如圖7所示。多 種形態的樣本會嚴重影響判別的精度。

 圖7 各類樣本 

對于縫線異常判斷，精度要求較高，負樣本形態各 異，并且難以收集，同時褶皺、彎曲、光線環境差都使得縫線位置判斷困難，而多種多樣的負樣本類型需要模 型去學習更多的特征，但負樣本難以收集，數量較少。 針對這些不同類型的情況，該項目設計了不同的數據增 廣、網絡算子和損失函數，并通過實驗表明，可以有效 解決上述各類問題。

 2.1.3　在線訓練 

（1）整體流程 

MVIP深度學習機器視覺檢測平臺，首先通過海量 的媒體數據+獨創的大規模多模態算法模型，使得大模 型從海量視頻數據中實現自監督學習通識知識，結合 Few-ShotLearning等小樣本學習算法，本平臺可在幾 百張樣本圖片下達到下游常見任務90+%的精度。無損 高速地傳輸給服務器端。在 服務器端我們將進行強大 的算法模型檢測，包括縫線檢測、文本檢測和文本識別 等一系列算法，然后將迭代后的模型再次使用5G傳輸 技術傳輸給邊緣側設備，供模 型實時更新強化。 

（2）技術原理 

MVIP深度學習機器視覺檢測平臺的核心技術是博 觀獨創的在線學習算法，該方法通過離線模型做離線識 別，同時使用監督模型協助監督。在實際應用中，將監 督模型給出的得分低于閾值的識別圖像無損地保存在在 線學習素材庫內。設備運行一段時間后，算法自動統計 運行規律找出低頻率識別時段，并在素材庫滿足一定條 件后，啟動凍結式網絡參數迭代更新在線學習，讓離線 模型不斷完善自身“弱點”，從而達到在線學習的優化 效果。 

（3）技術優勢 

MVIP深度學習機器視覺檢測平臺場景適應能力極 強，模型魯棒性高，可輕松應對各種新場景。在識別劣 勢的場景下可自動啟用在線學習系統，不影響設備正常 運行的情況下，在較短的時間內完善模型快速提升識別 率。搭載 5G技術，使數據在前端與服務器端不丟包傳 輸并且可 加速在線學習素材讀取速度，促進了算法的 高效性和實時性。

 在實際應用中，算法同時處理對面粉袋的縫線檢測 和面粉袋上文本識別兩種需求，通過在線學習方式，實 時更新識別算法，提升算法魯棒性，從而高效精準地完 成整體算法運算。

 2.2　系統架構 

MVIP深度學習機器視覺檢測平臺助力的生產環節 技術如下： 

面粉在灌裝到面粉袋后，面粉袋通過流水線輸送到 噴碼機處，自動噴碼生產日期和批次號等OCR信息到面 粉袋外包裝上，然后輸送到縫紉機處封好縫線，后續流 水線進入機器視覺智能化系統識別區，通過機器視覺技 術實現OCR的識別和封口縫線質量檢測。 

具體解決方案依靠光電傳感器觸發工業相機拍照， 工業光源穩定照射到OCR區以及封口縫線區，得到各自 拍攝到的視覺圖片，視覺檢測系統并行將相機采集到的 圖像通過深度學習的算法進行識別和檢測，判定面粉袋 的質量狀態，并通過視覺軟件可視化展示，同時把結果 通過通信的手段給到執行機構信號并分揀生產的合格品 和次品。

 該解決方案系統架構自下而上主要分為采集層、邊 緣計算層、應用層三層，具體邏輯架構如圖8所示。 

圖8 博觀糧油機器視覺解決方案系統架構 

2.3　軟硬件部署 

該解決方案在前端部署硬件視覺產品，利用AI算 法賦能機器視覺一體機，實現高效的圖片采集回傳。 基于BreVision視覺業務軟件對圖片進行分析，可以 檢測出廠的每袋面粉的生產日期和批次號的正確性。 BreVision視覺業務軟件是一款基于深度學習的智能工 業視覺軟件平臺，專門用于解決復雜缺陷的定位、檢 測、分類等問題，同時具備高效準確的字符識別能力， 可適用于各類復雜應用場景。該解決方案軟硬件部署如圖9所示。

 圖9 博觀整體視覺方案

 3　代表性及推廣價值 

 3.1　應用情況及效果 

目前，博觀糧油機器視覺解決方案已經在國內某知 名糧油工廠實現落地，賦能后共計覆蓋30+條生產流水 線，節省30+人力，并且從人工目檢每條生產線8000多 袋/天的生產能力，提升到應用機器視覺檢測后每條生 產線20000多袋/天的生產能力，生產效率提升150%， 有效實現了生產設備滿時運轉的工作狀態。

 3.2　創新性 

3.2.1　技術的示范效應 

該方案中的機器視覺質檢平臺依靠深度學習算法， 能高效檢測糧油生產中的包裝袋破損問題，精準識別 OCR信息，已達到<0.1%的過檢率和0%的漏檢率，方 案后續可以投入于國內更多的糧油加工企業及糧食行 業。我國是農業大國，糧食行業是直接與農業生產相關 的基礎行業，存在大量機器視覺替換人工檢測的潛在需 求。該方案能夠利用高性價比的機器視覺幫助眾多糧油 企業降低人力成本，促進柔性生產，帶動智能化轉型升 級，應用前景廣闊，市場推廣規模巨大。 

3.2.2　商業價值 

近年來，在制造業向自動化、智能化升級轉型的趨 勢下，機器視覺擁有著千億規模的市場前景。但目前在 工業領域，將AI融入機器視覺算法中的嘗試剛剛起步， 在全球范圍尚處于摸索起步階段，本項目的成功應用給 行業內客戶提供了比較有借鑒意義的案例。 

博觀機器視覺質檢平臺計劃在不斷通過人工智能算 法優化來進一步提升機器視覺設備的泛化性和準確性， 讓人工智能更穩定地應用于工業現場的惡劣環境中，對 于提升整體工業制造的智能化水平也頗具意義。該機器 視覺質檢平臺探索的路徑是，結合客戶的痛點以及AI算 法的能力，將兩者合二為一，采用最高效的方式來不斷 地提高工業場景的生產效率。未來博觀將在智能制造、 高端裝備、自動化設備等行業探尋更多技術深化和項目 合作。 

3.2.3　社會價值 

（1）節約人力成本 

從長期來看，伴隨日益嚴重的人口老齡化趨勢， 人員短缺、勞動力價格上漲的狀態還將持續，這都在無 形之中加劇企業的生產成本。博觀糧油機器視覺解決方 案的落地應用，能夠實現機器視覺對人工檢測的有效替 代，減輕糧油生產過程中對傳統人力的依賴性，能夠為 企業節約大量的人力成本，緩解因人工成本上漲而帶來 的生產壓力，加快降本增效。 

（2）減少糧食資源浪費 

在人多地少的基本國情下，節約糧食是保障14億 人糧食安全的戰略選擇。然而，我國糧食損耗浪費現象 嚴重，糧食供給端存在資源配置效率偏低的問題。據聯 合國糧農組織估計，我國每年僅在糧食收獲、運輸、儲 存、加工過程中造成的損失浪費，就達到糧食總量的 6%。博觀糧油機器視覺解決方案通過機器視覺質檢， 在發現包裝袋斷線、漏縫等多種殘次問題后，能做到第 一時間報警并剔除，解決了傳統人工檢測帶來的產品品 質波動問題，減少了因包裝袋破損產生的糧食損耗，在 保證產品良品率的同時避免了原材料浪費。 

（3）保障糧食生產安全 

保障糧食安全，不僅要從源頭出發保證原材料的 安全，還要加強對加工制造過程的檢驗檢查。包裝袋開 口、破損等加工過程中常見的問題容易引發袋內糧品污 染，保質期縮短，還會招致發霉蟲害等，威脅人民健 康。博觀糧油機器視覺解決方案，借助人工智能、機器 視覺、云計算等先進技術，高效檢測包裝袋破損問題 并及時告警相關人員處理，實現了糧油工廠的智能化管 控，為糧食生產安全保駕護航。

摘自《自動化博覽》2023年第2期暨《邊緣計算2023專輯》