對話中國信通院與7家醫療AI企業，第三方測評的意義與AI的未來發展

　　5年時間，對于醫療影像人工智能而言，已經走過了發展的初期，即技術驗證階段，但行業之初時顯現的問題，不少至今依然存在。

　　其一，由于缺乏足夠豐富、有效的數據供企業訓練，很多AI產品難以在臨床之中表現出好的判別水平。問題的背后是數據標注的高成本與數據獲取的高難度。至今為止，醫療數據的倫理問題尚未通過立法的方式進行解決，企業訓練數據獲取的方式仍難以規范。

　　其二，受數據、算法限制，符合臨床實際的多病種、多線程的AI僅少數企業能夠一定程度實現，大量的AI產品能夠解決單病種問題，但難以完全滿足醫生的實際需求。

　　其三，缺乏統一的AI產品數據標準、測試平臺、第三方數據庫。在介紹產品準確度、敏感度指標時，企業往往只談數字，而沒談獲得數字的過程。若是拿著訓練使用的數據庫進行后續測評，好比學生參加自己出卷的考試，考出的結果有效性存疑。

　　要從這些問題之中找到答案，不僅需要企業自身的努力，還需要政策予以支持。數年來，國藥監局器審中心、中國信通院等機構一直為規范醫療AI不懈努力。本次世界人工智能大會之上公布的肺炎AI影像輔助診斷產品評測（下文簡稱“肺炎AI測評”）結果，便是中國信通院等機構為解決第三個問題開出的處方。

　　評測技術構成

　　肺炎AI測評源于工信部科技司的指導，實際由中國信通院、中國人工智能產業發展聯盟、醫學人工智能研究與驗證工信部重點實驗室聯合舉行。這是一次創新式的、基于全封閉式獨立沙箱監測環境的測評，從數據收集、標注，到后續的測試、評分，均在脫離企業的情況下進行，這保證了測評的公正性與權威性。

　　中國信通院相關人士說：“沙箱環境意味著這是一個完全封閉的狀態，過去的測評常常是將處理后的數據交給企業進行測試，而本次測試是由企業將AI 產品通過VPN進行單項部署，部署完成后我們會先關閉通道，再進行測試數據，所有測試數據從醫院拷貝后均處于緩存狀態，一經測試完畢，立即刪除數據。”

　　測評使用的每一個數據都進行了嚴格的篩選與勾畫，以保證試驗環境與真實世界的可比性。最終，整個數據庫收集了上海公共衛生臨床中心、武漢市中南醫院、武漢市第三醫院、杭州市第一人民醫院、浙江大學附屬第一醫院、北京地壇醫院、溫州市中心醫院7家新冠肺炎定點醫療機構，總計1000例測試數據。這1000例數據中，30.7%的數據來源于健康人群，36.2%的數據來源于新冠肺炎患者，33.1%的數據來源于非新冠肺炎。

智能CT影像診斷技術應用評測數據來源（數據來源于中國信通院）

各數據分布（數據來源于中國信通院）

　　為了保證數據庫與真實世界盡量符合，工作組在采集過程中充分考慮了采集設備和配置、數據多樣化和病例分布三個維度指標。具體而言，非新冠肺炎數據庫里包含了肺水腫、普通肺炎等多種數據，同時，考慮到魯棒性和抗干擾因素，本次測評加入了實際臨床中經常出現的70例非標準影像數據。

　　后續的評測流程同樣經過了深入的推敲。整個評測方案由功能審查、性能評測、專家評審三個方向進行。功能審查主要從軟件質量入手，核查肺炎AI產品的可靠性、易用性、兼容性、功能完備性與系統安全性五個維度。性能評測則采用已標注測試數據進行可觀察測試，對肺炎AI產品的臨床診斷性能進行評價，其指標包括準確率、靈敏度、特異度和Kappa系數四個維度。專家評審則是邀請國內權威專家從產品體驗性、實用性、產品創新性，以及合理性對產品進行評價，同時綜合考慮創新性的特殊功能評價。

　　最終，北京安德醫智科技有限公司、上海聯影智能醫療科技有限公司、上海依圖醫療技術有限公司、上海深睿博聯醫療科技有限公司、平安科技深圳有限公司、杭州健培科技有限公司、上海皓樺科技股份有限公司7家醫療AI企業的肺炎AI影像輔助診斷產品從參評的17家醫療AI公司中脫穎而出。

　　總的來說，這次評測可謂是打破了之前醫療AI行業自說自話、各自為戰的局面，這不僅是首次由官方舉辦的醫療AI影像輔助診斷產品的同臺競技，更是特殊歷史時刻的“人工智能抗疫產品”測評，意義非同小可。

　　測評結果分析

　　“總體來看，國內部分人工智能企業的肺炎AI產品已達到較好水平，產品的功能已相對成熟和完善，有近1/3的產品在肺炎層面的準確率、靈敏度和特異度均在90%以上。部分產品在完善了基礎功能的基礎上逐步在開發一些對醫生有重要輔助意義的特色創新功能，如傳染性肺炎AI預警系統、智能示教功能等，也得到了醫生權威專家的認可”。在分析了整個測評的結果后，中國信通院給出了上述結論。

　　但從17家企業的實際得分來看，人工智能企業的產品性能優劣還是存在較大差異。此外，僅小部分產品實現了針對新冠肺炎的識別，對于病灶的定位精確度尚待進一步提升。小部分產品沒有對肺炎進行有效分類，產品功能、性能的提升需要通過更多標注的數據進行訓練。

　　“性能測試部分是拉開差距的主要原因。”中國信通院相關負責人介紹，性能測試包含“是否肺炎”“是否新冠”“病灶位置”。根據測評結果顯示，大部分企業產品都能較好地篩查出“是否肺炎”，但在“新冠肺炎鑒別診斷”方面，僅有3家企業準確率、靈敏度、特異度在80%以上，部分指標超過90%。

　　“出現這一結果的原因是多樣的，這是我們第一次啟用沙箱環境測試，企業對我們的數據格式、測試環境等因素不太熟悉造成了一定操作上的失誤。有的企業在測試過程中會出現一些故障，比如軟件突然Down掉了，導致后續的數據測不出來，而進行補充測試時，模型可能已經出現了一定偏移。對于這些情況，我們通常給予了操作失誤的企業重新測評的機會，但更為重要的原因還是在于訓練數據與技術積累。”

　　“從時間維度上講，三個月左右的疫情期，企業不太容易拿到數量充分的數據，也沒用充分的時間訓練，加之后續的標注流程可能存在問題，種種原因造成很多企業測評結果不佳。相比之下，有的企業技術積累較豐富、訓練數據量較大，后續的測評結果也就越好，這是一個客觀原因。”

　　“從更宏觀的維度上講，很多企業為了迅速實現商業化，會對產品功能進行一些調整，使其能夠盡快完成器械準入審批，實現商業化。”這一激勵機制下，企業或許會對AI產品進行了一定程度的簡化。但測評并非審批，人工智能企業得以立足的關鍵還是需要做出符合醫生實際臨床需求的產品。

　　如何建立面向未來的醫療AI？

　　為了進一步了解本次測評的實際情況，并從中歸納經驗，本次獲得前7佳績的人工智能企業對話交流，共同探尋AI的未來發展方向。

　　>>>>關于本次測評

　　Q：從企業的角度來看，必須做好哪些工作才能保證AI的性能，有效通過測試？

　　聯影智能詹翊強：由于本次測試的數據既包含了新冠肺炎的數據，也包含了非新冠肺炎的數據。因此，我們的思路是以已有的肺炎AI產品為基礎補充新冠肺炎的輔助診斷功能。

　　新冠肺炎的數據本身不多，這便對標注過程提出了新的要求。在這一過程中，我們采用了“人在回路”的標注方式，由醫生和專家團隊對小部分新冠肺炎數據進行標注，讓算法對這一部分內容進行學習，得到一個初始版模型。雖然這個初始版的模型性能欠佳，但在逐漸添加新數據的情況下，它將逐漸變得成熟。

　　分割環節則用到了聯影智能自主研發的分割引擎，這一AI引擎能夠對病灶本身進行分割，對肺段和肺葉進行分割。這個分割過程實際上完成了兩件事，一是判斷是否存在病灶，二是通過分割病灶可獲得大量定量數據，我們能夠計算每一個肺段病灶區的感染比例，從而判斷患者病情的輕重。在當時醫療資源緊張的武漢，這項功能能夠有效輔助資源的最有分配。

　　因此，要保證新冠AI產品的質量，一是要高效的標注手段，二是要創新性的AI算法，三是要與醫生進行深入溝通。

　　安德醫智李晶玨：新冠肺炎和非新新冠肺炎的CT影像之間有很多重疊性，也有明顯特異性。我們的AI在進行學習時，一定要明確這一數據的病原學情況，分清這個患者是不是新冠？如果不是新冠，那么我們會一定確認它到底是細菌肺炎，甲流還是乙流。因此，對于這樣包含數據維度較為寬泛的數據庫，我們的訓練方法為我們爭取到了很大的優勢。

　　皓樺科技周英：長期的經驗積累是必要的，舉個例子，平常醫生診斷時難以判斷甲流、乙流，我們是能夠通過AI解決這些問題，并通過多中心臨床試驗進行驗證的。在新冠之后，我們有幸拿到了較多的新冠數據，進一步強化了自己的產品，這可能是我們相對于部分企業的一個優勢。

　　依圖醫療石磊：產品設計、研發、內部測試、外部驗證，還有對于數據的標注、專家內部產品訓練、專家的業務理解……AI性能是多因素合力結果。在此次疫情對企業是個考驗，各企業必須有能力在短時間內，先借助較小樣本數據研發產品，并滿足產品在多家醫院使用的泛化性，這需要企業的綜合能力，是由企業多年經驗積累而來的。這也同樣說明，本次僅有部分企業通過測試，性能拉開了一定差距，只是冰山一角，而水面之下的部分，是企業的真正實力展現。

　　Q：訓練新冠肺炎AI算法用了多少數據？

　　深睿醫療李一鳴：肺炎數據是數萬例。

　　安德醫智李晶玨：有核酸金標準的數據１萬例左右，沒有核酸金標準的數據2萬例左右。

　　皓樺科技周英：5000例非新冠肺炎數據，1000例新冠肺炎數據。

　　Q：信通院曾表示，在材料審查時，新冠肺炎數據訓練數據量大的企業往往結果會相對好一些，怎樣看待數據量與AI結果的關系？

　　深睿醫療李一鳴：數據的量雖然重要，但并非決定性因素。一個AI產品的開發，除了訓練數據，還有核心的算法模型以及測試與臨床驗證。此外，在訓練新冠AI時，我們更多地是在對已有產品進行強化。單純從征象角度而言，新冠肺炎與傳統肺炎的差異并沒有那么大，但它會有一些其他的輔助信息需要我們注意，這也是我們模型調整的重點所在。

　　聯影智能詹翊強：數據量對于新冠AI算法的訓練非常重要，其次則是數據的來源。武漢的疫情比較嚴重，如果我們所有的訓練數據都來自于武漢，那么訓練后的AI可能更多偏向于重癥患者。因此，我們會近況考慮到不同地域的不同數據收集，這樣才能有效提高AI產品的可靠性。

　　依圖醫療石磊：數據量是影響性能的因素之一，數據的質量、標注的質量、模型的設計、訓練等都是重要的影響因素，每個環節都要做好，才能獲得優異的性能。所以AI產品的準確率與數據量有關，但不能簡單理解為擁有大量數據就能獲得優異的AI結果。

　　安德醫智李晶玨：好的AI離不開泛化性與大數據支持。實驗室的結果與實戰結果存在差異，這說明AI泛化性不足，這個問題于人工智能而言就像一塊牛皮蘚，很難解決，卻也必須解決。解決的方法倒也不難，AI企業需要把不同廠家設備、不同型號、不同CT層厚的數據作為訓練數據進行訓練，這里需要投入大量的時間。再說大數據支持，這是許多企業AI不能表現出好結果的根本原因，人工智能來源于大數據，不與有效的大數據結合，基本上出不了好結果，數據的量與質必須嚴控。

　　Q：企業在落地醫院之中往往會面臨一個新的環境，本次沙箱環境下的檢驗也是如此。為了保證AI產品在落地的第一時間就能表現出較好的準確性、敏感度和特異度，企業應該怎樣應對？

　　深睿醫療李一鳴：這其實是一個經驗問題。進入醫院后，我們會遇見不同的PACS系統或是影像設備，這一問題在深睿醫療產品落地的早期確實存在。但經過數百家醫院的實戰，我們如今已經積累了10余種跟PACS對接的方案，這些方案都為我們的AI影像平臺所支持，只需要在配置項上進行適當勾選即可。如果影像設備更標準，對接也更容易，相關的標準協議我們在AI開發時便已經準備就緒。

　　依圖醫療石磊：AI產品想要在醫院實際發揮作用，需要經歷多方面考驗，首先是能夠與醫院已有的系統穩定的對接，很多醫院的信息化系統較為復雜，如果企業沒有經驗，甚至在這個環節都可能面臨困難。AI產品需要兼容不同設備產生數據，如果AI的泛化能力不足，不同拍攝條件下產生的細微差別，都有可能影響AI的能力。所以，企業在進行AI研發時，要充分考慮數據的訓練方法、數據來源的多樣性，并對于一些特殊情況進行針對性的設計和訓練。

　　第二個難題是當AI進入系統后，對于不同設備產生數據、不同地域數據在拍攝條件上產生的細微差別把控不足時，就容易出現判別結果不佳的問題。所以，企業在進行算法訓練時，要充分考慮數據的訓練方法、數據來源的多樣性，并對于某些極端情況進行一些穩定性的設計。

　　平安科技黃凌云：我們對待這個問題的認識不外乎三點，一是需要從臨床實際需求、業務場景流程和已有技術積累出發，幫助醫護人員和醫療機構做好三提兩降，提效益提效果提體驗，降成本降風險。

　　二是創新：要勇于進行技術創新，比如新冠肺炎中對于病肺和病態肺葉的分割難點、以及初始條件下數據量和精準標注不足的問題；我們嘗試了在腹部CT病態器官中行之有效的新的分割網絡，以及遷移學習和人機結合半自動標注等新的方法，指標有了很好的提升。

　　三要做好項目管理，功能和性能測評針對的是一整個肺炎系統的體系，需要從算法到產品設計到交互等不同方面的工作人員相互配合，形成一個有機的整體，才能呈現最佳的產品效果。

　　Q: 信通院的結論之中提到了“系統可靠性需要進一步提升”，企業應該如何提高產品的可靠性？

　　健培科技周彬波：系統可靠性分為兩種，一是軟件本身的可靠性，它是否能夠在長期的運行中保證無故障。二是診斷結果的可靠性，是否能夠保證在長時間使用過程中保持的高準確度，在不同設備之間保證結果的一致性。在研發軟件時，企業需要提前根據質量管理體系在需求階段、研發階段、測試階段進行質量把控。

　　平安科技黃凌云：有兩個層面的考慮，一個從算法表現上來看，為了提升系統可靠性，我們應該進行多中心和多模態多品牌數據訓練，并采用domain adaption等研究領域中的有效算法，提升系統的魯棒性；另一個是從系統運行角度來看，我們要設計好軟件系統架構，從產品設計階段開始，對并發量、待處理數據排序、并行運算穩定性做好規劃，并嚴格按照軟件開發流程規范進行。

　　Q: 怎么看待創新分較低這一選項？

　　平安科技黃凌云：本次測評的創新分普遍較低，就我個人理解，大部分公司產品集中在肺炎病灶分割和定量測量等方面，醫生對于這批產品的功能感覺比較雷同，希望能有更多突破。但臨床的突破創新需要一定時間，隨著我們對于新冠數據更加系統化和結構化的整理，采用人工智能技術對疾病轉歸預測等新的功能有深入挖掘，相信會對臨床起到更多的幫助作用。

　　此外，企業要強調創新，不能因循守舊，醫療AI解決的是一些醫療流程中的痼疾，但是要從新的視角切入，和新的算法流程表達; 同時AI學習訓練方法上不能簡單地認為用大體量標注深度學習就能解決，這樣是很難規模化的。需要綜合考慮研發時間和人力資源成本和系統性能，要用方法上的本質創新來優化學習流程，并提高最后AI系統的精度和泛化能力。

　　>>>>關于未來發展

　　Q：怎樣看待未來審批發展？

　　深睿醫療李一鳴：在這一個時點上，國家對于AI產品的審批給予了政策與資金上的大力支持，但在產品同質化較為嚴重的今天，第一個同類產品的獲批必然面臨更為嚴格的審核。等到這一類產品的認證陸續出現后，還需要解決的便是創新軟件更新迭代過程的報批問題，總不能一個產品來回審個7-8回吧？

　　我個人認為未來的AI產品審批流程會有一個更為科學和適用的測試方案，在保證AI安全、有效的前提下，保證產品的更新與迭代，為企業和檢驗機構都節省大量的成本與精力。

　　健培科技周彬波：從注冊角度來說，現在面臨最大的問題在于注冊周期實在太長了。從我們開始準備做三類注冊，到現在差不多花費了兩年多的時間，我們AI產品的核心已經經歷了非常多次的迭代，傳統器械的審批流程真的不適用于創新企業的審批。

　　但是從這兩年開始，器審中心、信通院等機構的介入正在建立第三方的測評平臺以及測評數據庫，如果這個測評結果可以被公認，那對于企業而言，可以節省非常多的時間，如果每一更新都需企業去設計臨床試驗，它的時間跨度太長了。

　　Q：醫療人工智能發展至今有多年，為什么直到今年才陸續建立第三方測評標準、第三方測評數據庫？

　　依圖醫療石磊：這一輪醫療人工智能行業發展已有幾年，但從絕對時間上來說，AI作為一個新技術切入發展成熟的醫療領域，三四年時間還是偏短的。即便是在今天，AI產品仍在以日新月異的形態、種類和豐富多樣的落地形態和原有的醫療生態相結合，說明這個行業具有非常強的創新性，和無限生命力。

　　但是這也意味著行業認知的成熟和行業標準的建立不能一撮而就，需要逐步完成。 這幾年中，中檢院、信通院等機構開始牽頭建立數據標準與第三方數據庫，有助于行業長期發展。醫療AI領域正逐漸規范起來，從時間上來說，并不晚。

　　健培科技程國華：2016年，AlphaGo與圍棋大師的博弈掀起了公眾對于AI的狂熱潮，也正是這個時候，一大批企業在此扎根。

　　隨后的醫療人工智能經歷了一個百家爭鳴的過程，接著是循序漸進的認知統一。對于一項新興技術而言，4年算不上長。

　　在這個期間，其實也有很多企業、機構想要成為制定標準的人，但在共識之前，這樣的標準幾乎得不到其他人的認可。大家各自有各自的想法，包括今天要建什么樣的數據庫？今天要建什么樣的標準？哪一個數據庫和標準先建？哪一個后建？大家都有各自的考量。

　　因此，從今年信通院、協和醫院等機構開始介入建立數據標準與第三方數據庫，這實際也是長期考量的結果，也意味著過去混沌的認知正在統一，新的生態意識與認知正在達成一致。這是一件讓人欣慰的事，AI領域正因這些動作逐漸規范起來，而這個時間點，并不晚。此外，隨著三類證的逐步獲批，時間已經成熟。

　　Q: 醫療影像AI的未來將走像何方？

　　聯影智能詹翊強：很難描述未來的AI具體是怎樣的，但聯影智能發展路徑至少是朝著它理想中的未來發展的，這里有兩條思考可供參考。

　　一是從病種出發，解決單一科室的問題。以腦卒中為例，首先要判斷患者是出血還是缺血，若是出血，其次要判斷是否造成了中線偏移，那么下一步就該指導患者做一個CT灌注，看看實際評分指數。總而言之，疾病的種類很多，但如今AI能夠處理的病種很少，我們正一個一個地攻克最為值得攻克的疾病問題。

　　二是從部位出發，實現一次胸部 CT 掃描，AI 輔助篩查肺結節、肺炎、肋骨骨折、食道癌、淋巴結等多疾病。影像學上有一個說法叫Incidental finding。打個比方，骨科醫生在看患者的胸部CT時，卻發現CT上有一個疑似病灶，經進一步確認和發現這是腫瘤。這便是Incidental finding，也是聯影智能將骨折檢測、腫瘤檢測等功能放在一起的原因。

　　人們在處理事件的時候往往會產生主觀偏移，如果是骨科醫生接待患者，他的重點便放在了患者是否發生骨折這個點上，這時就容易漏掉一些肺部的病灶。AI的優勢便在于此，沒有心理上的預設，它能夠及時地找到Incidental finding，通過單一影像找到更多信息，從這個角度出發，我們能夠發掘AI更為深遠的價值。

　　安德醫智李晶玨：公共衛生的防控是未來AI影像發展的一個重要方向。對于影像科醫生而言，識別肺炎是人家的基本職業素質，但到了新冠就不一樣。如果是讓武漢大醫院的醫生去看新冠的CT，他可能一眼就看出來，但若放在許多疫情不嚴重的城市，那么這些醫生可能就不能一眼識別出新冠與否。這是AI作用的第一步，即分清新冠與非新冠。

　　進一步，在分清新冠與非新冠后，醫生要進一步確認肺炎的種類，這對于醫生是個更大的挑戰，也是AI的價值所在。特別是在基層，如果AI能夠幫助醫生進行一個初步的判斷，從而有的放矢地對疑似患者進行進一步的病原學檢測，能夠對防疫體系起到很大的幫助。

　　這也是新基建提及醫療AI的重要原因之一，當出現新的流行性病毒時，AI雖然不能直接判斷新病毒的種類，但通過過去的學習，AI會給出不同于已訓練種類的輸出，即“其他肺炎”，給予提示，取得監測者的重視。因此，AI將是未來公衛防控體系建設的重要力量。（趙泓維）