小米新技術落地:能將圖片中的表格轉化成Excel文件


今天下午,小米創辦人雷軍介紹小米自研的一套表格識別算法,該算法高效準確地將圖片中的表格轉化為可編輯的Excel文件,大幅提升使用體驗。表格識別是指將圖片中的表格結構和文字信息識別成計算機可以理解的數據格式,在辦公、商務、教育等場景中有著廣泛的實用價值,也一直是文檔分析研究中的熱點問題。

圍繞這個問題,小米研發一套表格識別算法,該算法高效準確地提取圖片中的表格,轉化為可編輯的Excel 文件。目前算法已經成功落地於小米10S系列、MIX Fold 2等旗艦機型,大傢可以從相冊-更多-表格識別,或者掃一掃進入體驗。

表格檢測算法

小米表示,表格檢測算法主要是從圖片中準確的提取表格區域,並對表格進行矯正,得到平整的表格圖片以便下一步的表格識別;

表格識別算法主要是從圖片中提取表格結構和表格文字內容,然後將這些信息有效的結合在一起,輸出可編輯的Excel表格。

表格檢測有以下難點:一方面是手機上的算法和內存有限,另一方面是對表格檢測結果要求非常高,表格周圍往往包含其他文字,如果檢測結果不準,會對後面的識別結果造成負面影響。

小米的表格檢測算法會同時檢測到表格區域和表格的四個角點,通過透視變換和我們自研的抗扭曲算法得到隻有表格區域的平整表格,效果如圖所示。

由於算法運行在手機端,需要保證運行速度和模型大小,小米采用一個非常輕便的一階段檢測框架,backbone采用shuffleNetV2;

在檢測出表格框的同時,回歸出關鍵點信息,便於表格的透視矯正,並用Wing loss代替L1 loss讓關鍵點回歸更加準確;

數據方面,用算法低成本地從公開數據中挖掘大量表格檢測數據,顯著性地提高表格檢測效果。最終模型大小為1M左右,順暢地運行在小米手機上。

表格識別算法

表格識別算法在服務端運行,主要包含的模塊有:文本檢測、文本識別、表格結構預測、單元格匹配、對齊算法、Excel導出。

目前主流的方法是將表格用HTML的超文本表示,然後對HTML進行編碼,預測HTML序列和對應的坐標信息。

該方法在開源數據集上取得不錯的效果,中國平安科技和百度也采用這種方案,但是HTML 的標簽過多導致表格結構識別容易出錯。

針對該方法的不足,我們對表格采用全新的編碼方式,僅用四個標簽就能表示任意結構的表格,極大地提高表格結構識別準確率。

表格識別在部署過程中,采用Fastertransformer推理框架進行加速,官方稱小米的推理速度提升大約20倍,明顯改善用戶體驗。

總結

該算法能高效方便地從圖片中提取表格,極大地提高辦公效率。小米表示,工程師們將持續提升小米手機中文檔類圖片的識別體驗。


相關推薦

2023-03-11

時候的噩夢。我清晰地記得那年被各種函數、圖標應用、表格工具,折磨的痛不欲生的經歷。那時候我就覺得,Excel是最反人類的辦公軟件,它雖然足夠強大,但是為什麼要整的如此復雜?Excel 一直都是很多朋友工作、學習時候

2022-08-30

紹Excel迎來的一項新改進——回應廣大用戶翹首期盼的“將圖像直接插入單元格”的功能需求。具體說來是,通過“IMAGE”函數,使用最新Excel預覽版本的測試者們,已能夠在Windows、macOS、iOS和Android平臺上體驗這項新特性。資料

2024-03-16

Excel網絡應用程序現在可以以流行的CSV文件格式導出電子表格。對於不熟悉 CSV 格式的人來說,它是逗號分隔值(Comma-separated values)的縮寫。顧名思義,這是一種用逗號分隔文件中信息的文本文件格式。很多電子表格程序都使用

2024-03-22

將復雜程度提升到現代一級方程式賽車的水平,Excel 電子表格就會崩潰,電腦前的人也會崩潰。這正是我們現在的處境。"在這個冬天,威廉姆斯將 Excel 電子表格遷移到一個新的數字系統,同時升級賽車的"技術基礎"

2023-03-18

堆數據要處理,隻需要說句話讓 Copilot 分析這些數據,它能將數據就歸納處理,並且支持你提問關於表格的任何內容。比如,問它哪個產品利潤最高,它會自己算給你。除能回答這些基礎問題,Copilot 還能給出一些需要經過思考

2023-03-06

輸入想要幹的事:給學生成績排個名吧。簡單敲個回車,表格唰一下就列好!檢查一遍也沒錯。還能跨表格處理。比如標記出兩張不同表格中排名都在前十的學校。哦豁,還有點超越ChatGPT?畢竟給ChatGPT提出類似的要求,它隻能

2023-04-06

對之法還存有諸多局限。但這不意味著要因噎廢食,阻止新技術的發展。奧維德指出,偽造圖像的現象由來已久,把AI造假看作世界末日的做法是不負責任的。目前,除將希望寄托於技術和監管,人們更多可以做的,或許是在傳

2023-03-17

果你發現哪裡寫錯,直接點擊修改即可。使用Copilot,還能將SWOT分析一鍵轉PPT,並在PPT中對其進行優化。它也能一次性生成多個會議的紀要並進行總結。鼠標懸停在文字上,就能獲取更多詳細信息,以便及時查漏補缺。同時Copilot

2022-07-03

。PowerPoint則修復瞭使用信息權限管理有時會錯誤地禁用表格樣式選項的問題。除此之外,此次更新還對Office全傢桶裡的大部分應用都進行瞭優化與修復,提升瞭軟件的易用性。

2023-03-23

審視在包括文章、論文、廣告等生成內容方面的審核。”小米前副總裁、安全與隱私委員會主席崔寶秋也對第一財經記者表示:“技術監管是一場永恒的攻防對抗博弈。深度合成技術的服務方在提供服務的同時,會產生多方面的

2022-07-20

之一,ExcelLive能實現在線視頻會議進程中讓同事實時編輯表格,大大增加協作能力。作為微軟 Live Share 功能的一部分,微軟在今年早些時候就曾預告過 Excel Live。在接受國外媒體 The Verge 采訪的時候,Microsoft Teams 副總裁 Nicole Hersk

2023-03-18

以通過聊天的方式,讓Copilot幫你潤色Word文檔、制作Excel表格、快速生成PPT幻燈片,甚至寫一份工作周報等。簡單來說,Microsoft 365 Copilot提供一種全新的工作方式,通過以下兩種方式協助用戶更好地進行工作:1、Copilot將會被內置

2024-03-18

分之一,但就這些能放入Excel,已經十分不起。這個特殊表格能接受的輸入量隻有10 tokens,相比於GTP-4 Turbo 128000 Tokens簡直不值一提,但依然值得豎起大拇指。當然它也有一個好處,那就是完全本地運行,不需要連接雲端。Anand這

2023-11-07

器上有Bing Chat功能,你就可以讓聊天機器人為你創建一個表格。Couvert 的文本提示示例是:"創建一個表格,比較 2015 年至 2022 年美國智能手機和筆記本電腦銷售額的變化情況"("Create a table comparing the evolution of smartphone a