智能感知與控製國際聯合實驗室

該實驗室由美國華盛頓大學（西雅圖）、恒达娱乐、浙江捷尚視覺科技股份有限公司聯合成立🧑🏻‍💻🏹。以“世界一流大學+恒达娱乐+知名企業”為隊伍，立足“科學、技術、工程協同創新”的運行機製🍎，為聚一流師資🏇🏽、育一流人才、創一流學科提供國際化高水平學科平臺。實驗室主要研究列舉如下🏄‍♂️。

1. 人臉識別、性別識別、年齡分析、表情分析

人臉識別🏆，是基於人的臉部特征信息進行身份識別的一種生物識別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，並自動在圖像中檢測和跟蹤人臉🔀，進而對檢測到的人臉進行臉部識別的一系列相關技術，通常也叫做人像識別、面部識別🦹‍♀️。本項目就是根據提前導入的個人照片數據庫🎰，在快速檢測到人臉的基礎上實現人臉最佳匹配，實現人臉識別。

本項目還可以根據檢測到的人臉預測性別和年齡，比如現在很多手機相機都有臉部識別並能顯示年齡與性別信息🕹，同時，該項目還可以用來判斷人臉部的表情信息，判斷一個人的喜怒哀樂🤾🏽，人臉識別技術現在已經開始應用於車站的安監系統、高校的門禁系統、公司的考勤系統等😵‍💫。

隨著移動互聯網的崛起🪘，一些人臉識別技術的開發者將該項技術應用到娛樂領域中，如應用開心明星臉等🙆🏿‍♂️，根據人臉的輪廓，膚色🪳🧞‍♀️，紋理🧗🏿，質地，色彩，光照等特征來計算照片中主人公與明星的相似度。在不久的將來，人臉識別還可以應用於測謊系統，比如，中國的雲從科技已經研發出基於人臉識別的人工智能測謊儀。相信人臉識別技術會越走越遠♻️。

2. 跨相機網絡的行人跟蹤與重識別

跨相機網絡的行人跟蹤與重識別又稱行人重識別，是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術，主要是給定一個監控行人圖像，然後檢索跨設備下的該行人圖像👃🏿。

研究難點：

（1）圖像比較模糊並且廣泛存在後腦勺和側臉的情況，因此無法進行人臉識別，（2）攝像頭之間有色差並受到光照的影響所以僅靠衣服顏色無法做出精確的判斷⛴，（3）容易出現撞衫情況但是研究方法普遍忽略圖像細節

研究方法🚧：

在得到的數據集中的訓練集上進行模型的訓練，得到模型後對圖片提取特征計算相似度💁🏼‍♂️。

常用的研究方法

（1）基於部件匹配的方法

根據人體的結構信息對圖像進行分割，然後按部件來進行匹配。

（2）基於損失函數的方法

基於高層語義信息，設置一些輔助任務👨‍🦯🚼，幫助模型學習到好的特征表達。

3. 區域客流密度+區域客流統計

客流統計是一項重要的市場研究手段，能夠為公共、商業系統的運營決策和綜合管理提供準確及時的數據參考，對公共安全、科學決策起到非常重要的作用。適用在商業、連鎖、公園和景區、鐵路🙆🏼‍♂️、機場、博物館、展覽館等眾多運營場所😇。

客流量是代表著某個區域的人氣價值指標，人群密度多有好有壞，只有在可控製的範圍內才不會造成隱患。

客流統計的應用、實現人群密度檢測的效果🧖👩‍🎨，主要利用當前先進的機器視覺，計算機圖像視頻分析技術，模式識別技術、人工智能機器學習↖️、深度學習技術➜，偵測預設區域內移動人群密度🦃🧫、擁擠度、實時顯示區域內人群的數量。或者擁擠程度百分比🧘🏽，如果密度超過預設值，系統就會發出警報。

客流量統計安裝檢測人群效果：

多個區域設備的安裝🍤、如出入口、櫃臺👷🏿‍♂️、店鋪、樓道通道等等設置多個防區檢測人員密度🧗🏻🤩。

能在一個防區或多個防區設置多種分析功能2️⃣。

能實時分析檢測每一個防區的人群密度價值及擁擠度百分比。

人群檢測密度價值：

主動監測區域人密度🈯️、擁擠程度。

提高公共安全🚣🏼，合理引導人流🦜。

客流統計人群密度檢測是為了提升客流量的價值，同時也是為了降低擁擠和低對比度環境中的安全隱患🤾🏽‍♂️，提升安全等級以及對災難隱患的預見和主動性

4. 打架監控應用

一種視頻中打架的偵測方法，包括如下步驟:

(1)有效特征點值獲取:進行特征點檢測，特征點運動估計和量化；

(2)劇烈運動塊獲取:將圖像分塊，統計每塊特點方向直方圖，計算直方圖熵值🙍🏻‍♀️，如果直方圖熵值超過一定閾值就認為是劇烈運動塊🛸👩🏿‍🦰；

(3)累計劇烈運動分數:當某幀某塊是劇烈運動塊時🙆‍♀️，其劇烈運動分數加一定值🧝🏻‍♂️；如果不是📪，就將此塊劇烈運動分數縮減一定比例；

(4)劇烈運動連通區域輸出:若某塊劇烈可信值超過設定閾值⤵️，就認為是劇烈運動塊，並將連通的劇烈運動塊組成連通區域👩‍⚕️🤦🏿‍♂️，如果連通區域面積大於設定閾值，就作為劇烈運動連通區域輸出。

打架監控主要可以應用於：監獄打架鬥毆監控𓀏、無人監管場所或人流量大的公共場所（如：車站、酒店、賓館🤽🏼‍♀️、商場等公共場所）打架監控👮🏿‍♂️。

          個體打架                             群體打架

5. 實驗室智能行為分析

行為識別是指通過分析視頻、深度傳感器等數據，利用特定的算法，對行人的行為進行識別、分析的技術。這項技術被廣泛應用在視頻分類、人機交互、安防監控等領域👱‍♂️。行為識別包含兩個研究方向：個體行為識別與群體行為（事件）識別🚶🏻。

行為分析主要實現以下檢測

（1）警戒區檢測

對於重點區域，為防止人員或車輛進入☞，可以設置安全區域設別來檢測是否有人、物體或車輛進入預定區域；支持區域範圍的自定義設置🙎🏼‍♂️，可以是任意形狀、大小矩形或者不規則多邊形💂🏽；以設置虛擬區域範圍方式進行監測，保護某些不允許別人進入的禁區🧘🏽‍♀️，有人👔、車輛或者物體進入或者離開某一個特定區域時，系統會產生報警通知值班人員。

（2）人數統計

人數統計分析基於對運動目標的智能跟蹤與識別技術，通過對區域或方向的設定來統計通過人數，以及人群流動量🧗🏿、人群流動方向的統計及分析數據💉。

（3）打架檢測

通過對視頻監控下相關人員的運動特征、運動軌跡🏄🏼‍♀️🛏、肢體劇烈變化的自動識別🤹‍♀️，實時檢測是否有打架鬥毆事件，以防事件的進一步惡化。

（4）脫崗檢測

對於重要場所👩‍👧，通常有值班人員，為防止突發異外事件發生，要求值班區域必須有人值守，為防止脫崗現象發生，可通過脫崗檢測方式，實現對設定區域區的人員檢測。典型應用如哨兵站崗🏋🏽🍵、監所監控中心、重點單位門衛室等。

6. 非侵入式FFR測量技術

目前針對血管堵塞診斷☂️，仍舊完全依賴於醫生的主觀意識完成。臨床上缺乏一種對血管狹窄度、堵塞程度等進行分析的輔助診斷工具。我們的作品應用冠狀動脈血管堵塞輔助診斷技術📛，即將人工智能技術應用於輔助診斷診療中🧏‍♀️，讓計算機“學習”專家醫生的醫療知識🪝，模擬醫生的思維和診斷推理💝，從而給出可靠診斷和治療方案，從而極大地降低醫生的工作量，該技術可以大量擴展到鄉鎮🌎🤦🏻，提高基層醫療水平，減少醫生對病人的誤診率，通過輔助診斷技術⚉，解決血管堵塞年輕化問題👨‍🦯‍➡️，做到及時預防、及時治療👨🏽‍🌾。

使用傳統算法和深度學習相結合的方法對患者CT圖像進行血管 分割，我們所采用的U-Net網絡在分割圖像方面也是起到了很好的效果；分割完 成後對血管結構進行三維重建，通過得到的 3D 血管模型圖來得到血管直徑💂🏽，最 後計算出冠狀動脈血流儲備分數來判斷血管的狹窄度🤽🏼、堵塞程度，從而完成冠狀 動脈血管堵塞程度的自動分析。

（1）融合冠脈CTA與FFR的優勢🫲🏼。對患者無創傷⏳，費用低

（2）采用傳統算法與深度學習結合🧚🏻🤣，血管圖分割精度高

（3）采用機器學習方法計算FFR值，速度快，精度高

     
                                    算法流程

                                作品展示

7. 胃癌診斷研究計劃

基於深度學習的人工智能技術在胃癌診斷中的應用目的在於構建和驗證一個用於早期胃癌自動識別的深度學習模型🤽🏽‍♂️，提高早期胃癌的識別和診斷水平🈲🆓。

（1）多特征融合的胃癌分期診斷

胃癌與淋巴結的大小與位置等特征是胃癌分期重要的參考⚇。

▪通過深度學習來學習潛在的胃癌和淋巴結特征。

▪通過聯合貝葉斯算法將學習到的胃癌特征、胃癌與淋巴結的大小融合👨🏻‍🦼‍➡️，從而診斷胃癌的分期🦹🏻‍♀️。

（2）胃癌手術安全性評估

▪通過MPR多平面重建技術將三維重建投影到多個不同視角下，融合各視角下的特征🌖，綜合分析得出血管的變異類型。

▪通過多層三維卷積層與兩層全連接層判斷淋巴結與血管是否纏繞🤦🏼‍♂️，為胃癌手術提供重要的指導意見。

（3）總體技術方案

基於深度學習的精細粒度分割等人工智能技術的引入，將有望使中國智能胃癌診療技術達到國際領先水平，在胃癌研發領域⏯，開發具有臨床實際價值的病理切片智能識別、智能放療等技術🥸，可有效提高早期胃癌的診斷率、進展期胃癌的控製率。

8. 掌靜脈識別

在近紅外光的照射下，獲取靜脈血管形狀的圖像🙎🏽。經過特征提取💄👨🏽‍🏭，最後進行特征匹配和對比匹配結果，實現身份鑒別🔞。

項目的過程：分為3個階段💂‍♂️🧑：

1.圖像的采集：手掌在720 ～ 1100 nm近紅外光的照射下🤹🏼‍♀️，由於靜脈血管中的血色素比周圍其他生物組織吸收更多的近紅外輻射🟥🧙🏽‍♀️，手掌反射回的光被圖像傳感器接收👚，形成靜脈血管的血管形狀圖像。

2.圖像預處理💲：數字化和圖像增強、圖像去噪等一系列操作🥰。

3.特征提取及匹配🧕🏿：根據特征提取方法不同，現有的掌脈識別方法，可歸結為以下幾類: 基於結構特征、基於紋理特征和基於子空間的方法✤🧑🏽‍🏫。

應用：掌靜脈識別可被廣泛應用在考勤🍺🧑🏻‍✈️，系統、門禁系統、銀行、電子商務身份認證、機密信息存取控製等眾多應用中。

實用性：具有較強的普遍性和唯一性🏌🏼‍♂️；使用程度廣；用戶接受度好；很難偽造和模仿；識別率較高🕺🏽；只有活體才能識別。

9. 駕駛員動作識別

本項目通過拍攝駕駛員的行車視頻，運用機器視覺技術對駕駛員的行為進行分析檢測，從而判斷駕駛員在行車過程中是否存在違規行為。

項目的過程：

圖像預處理：由於在實際應用中會受到環境影響（如受到的光照影響），因此進行檢測前需要先對圖片進行預處理（如👩🏼‍🍳：濾波😦、圖像增強等），減少外界因素對檢測結果的幹擾和影響✌🏽。

感興趣區域的建立🦆：運用邊緣檢測和橢圓檢測🙋🏻，完成包含駕駛員主要肢體部位的感興趣區域的建立。

膚色特征識別🙂：對顏色空間進行選擇，並在確定顏色空間後，完成一些特征的提取，建立膚色模型✋🏼，對臉部手部所在位置進行確定📼。

駕駛行為分類🏖：可以使用貝葉斯分類算法對駕駛員行為進行分類。

對駕駛行為分類方法進行驗證🕊。

應用👩‍👦‍👦：該項技術被應用於實時的駕駛監控，提升車輛行駛安全𓀈。

實用性👲🏼：獲得信息的途徑簡單🚵🏿‍♀️，對人和車造成的影響較小，具有非接觸性的優點👨🏽‍🚒。