• / 39
  • 下載費用:30 金幣  

马德里竞技VS维戈塞尔塔: 一種實現交互式圖像分割的方法、裝置及終端.pdf

關 鍵 詞:
一種 實現 交互式 圖像 分割 方法 裝置 終端
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201710005362.3

申請日:

2017.01.04

公開號:

CN106886999A

公開日:

2017.06.23

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06T 7/11申請日:20170104|||公開
IPC分類號: G06T7/11(2017.01)I; G06T7/194(2017.01)I; G06T7/136(2017.01)I 主分類號: G06T7/11
申請人: 努比亞技術有限公司
發明人: 梁舟
地址: 518000 廣東省深圳市南山區高新區北環大道9018號大族創新大廈A區6-8層、10-11層、B區6層、C區6-10層
優先權:
專利代理機構: 北京安信方達知識產權代理有限公司 11262 代理人: 胡艷華;栗若木
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201710005362.3

授權公告號:

|||

法律狀態公告日:

2017.09.15|||2017.06.23

法律狀態類型:

實質審查的生效|||公開

摘要

本文公開了實現交互式圖像分割的方法、裝置及終端。所述方法包括:將涂抹軌跡作為骨架生長成標記區,確定包含標記區的感興趣區域,生成圖像分割算法的輸入掩模圖:將標記區中像素作為掩模圖中前景點,將感興趣區域中標記區外的像素作為掩模圖中背景點;根據彩色圖和掩模圖確定各個像素的第一分割參數,根據深度圖和掩模圖確定各個像素的第二分割參數,對兩種分割參數進行融合;將每一個像素的融合后的分割參數映射到無向圖中,根據最小割??最大流算法對所述無向圖進行處理獲得精細分割后的掩模圖,從彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像。本文能縮短算法的運行時間,結合圖像的深度信息改善圖像分割的效果。

權利要求書

1.一種實現交互式圖像分割的方法,包括:
檢測到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生長成標記區,確定包含
所述涂抹軌跡的一塊區域作為感興趣區域,所述感興趣區域包含所述標記區,生成圖像分
割算法的輸入掩模圖:將所述標記區中所有的像素作為所述掩模圖中的前景點,將所述感
興趣區域中標記區外的像素作為所述掩模圖中的背景點;
獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖,根據所述彩
色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,根據所述深度圖和掩模圖確定
所述掩模圖上各個像素的第二分割參數,所述第一分割參數和第二分割參數用于表示像素
判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異;將所述第一分割參數
與所述第二分割參數進行融合;
構建無向圖,將所述掩模圖中的每一個像素的融合后的分割參數映射到所述無向圖
中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模圖;
從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像。
2.根據權利要求1所述的方法,其特征在于:
根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,包括:根據所
述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數:
按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E步驟
和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟獲得
的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸屬于
某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數,所述第一區域項分割參
數是所述像素基于所述彩色圖判決為前景點或背景點的概率;
其中,所述E步驟和M步驟分別包括以下處理:
E步驟:根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇將同
種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景點或
背景點;簇的分類包括前景點簇或背景點簇;
M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個像素,
根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類;
根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,還包括:根據
所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數:
按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E步驟
和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟獲得
的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸屬于
某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數,所述第二區域項分割參
數是所述像素基于所述深度圖判決為前景點或背景點的概率;
其中,所述E步驟和M步驟分別包括以下處理:
E步驟:根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇將同
種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景點或
背景點;簇的分類包括前景點簇或背景點簇;
M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個像素,
根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。
3.根據權利要求2所述的方法,其特征在于:
根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,還包括:根據
所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數:
根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數;
其中,對任意一個像素,將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值
差值絕對值進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素
的第一邊界項分割參數;
根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,還包括:根據
所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數:
根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數;
其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值進行
累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界項分
割參數。
4.根據權利要求3所述的方法,其特征在于:
將所述第一分割參數與所述第二分割參數進行融合,包括:將所述第一區域項分割參
數與所述第二區域項分割參數進行融合:
對任意一個像素,將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一區域
項分割參數,將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參數;
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像
素分類相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割參數
相加的和作為融合后的區域項分割參數;
如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示的像
素分類不相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割參
數中數值較大者指示的像素分類作為所述像素的最終分類,將所述調整后的第一區域項分
割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分割參
數;
將所述第一分割參數與所述第二分割參數進行融合,還包括:將所述第一邊界項分割
參數與所述第二邊界項分割參數進行融合:
將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數,將所
述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數,然后將所述調整后
的第一邊界項分割參數與所述調整后的第二邊界項分割參數相加得到所述像素的融合后
的邊界項分割參數;a大于或等于0且小于或等于1。
5.根據權利要求4所述的方法,其特征在于:
所述權重a根據自評價參數k1和一致性參數k2進行確定:將自評價參數k1和一致性參
數k2的積作為權重a;
其中,自評價參數k1采用以下方式進行確定:根據像素的深度值確定像素對應的拍攝
距離的遠近程度,根據所述拍攝距離的遠近程度設置自評價參數k1,所述拍攝距離越近,自
評價參數k1設置得越大;k1大于或等于0且小于或等于1;
其中,所述一致性參數k2采用以下方式進行確定:
如果所述第一邊界項分割參數與所述第二邊界項分割參數相等,則設置一致性參數k2
為第一常數;
如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等,在所述第一邊界項
分割參數與所述第二邊界項分割參數同時大于閾值或同時小于閾值時,設置一致性參數k2
為第一常數;在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大于閾值或不
同時小于閾值時,設置一致性參數k2為第二常數;所述第一常數大于所述第二常數;所述第
一常數大于0且小于或等于1,所述第二常數大于0且小于1。
6.根據權利要求1所述的方法,其特征在于:
構建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數映射到所述無向圖
中,包括:
構建一個無向圖,在所述無向圖的平面外設置兩個懸空點Q0和Q1,所述懸空點Q0為虛擬
前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個像素
的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所述懸
空點Q1之間建立連線;
對掩模圖中的任意一個像素Pi,將所述像素Pi的融合后的區域項分割參數作為所述無
向圖中映射點P′i的權值,將所述像素Pi的融合后的邊界項分割參數作為所述無向圖中映射
點P′i與懸空點Q0或Q1之間連線的權值;
根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模圖,包括:
迭代執行以下C步驟和D步驟,在迭代運行達到收斂條件后停止迭代過程,將所述前景
點集合Q中的各個像素作為精細分割后的掩模圖中的前景點;
其中,C步驟和D步驟分別包括以下處理:
C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景點的
像素構成前景點集合Q;
D步驟:計算所述前景點集合Q的權值總和,所述權值總和是所述前景點集合Q中所有前
景點的權值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和;
其中,所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。
7.根據權利要求1所述的方法,其特征在于:
所述將所述涂抹軌跡作為骨架生長成標記區,確定包含所述涂抹軌跡的一塊區域作為
感興趣區域,包括:
獲取原始圖像的邊緣梯度信息,從所述涂抹軌跡的像素中選取部分像素作為種子,每
一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域,所有的種子向外生長形
成的子區域合并后形成一個擴展區域,將所述擴展區域作為標記區;
根據所述涂抹軌跡的形狀特點套用幾何形狀模板,根據所述幾何形狀模板生成包含所
述涂抹軌跡的感興趣區域,如果所述感興趣區域沒有包含所述標記區,則將所述感興趣區
域擴展至包含所述標記區;或者對所述標記區進行膨脹處理形成感興趣區域。
8.根據權利要求7所述的方法,其特征在于:
所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域,包括對每一個種
子執行下述步驟A-F:
步驟A:將所述種子作為起始點,為所述起始點設置能量值,將所述起始點標記為活動
點;
步驟B:判斷當前是否存在標記為活動點的像素,是則執行步驟C,否則執行步驟F;
步驟C:對任意一個標記為活動點的像素A,判斷所述像素A的上、下、左、右四個相鄰點
中是否存在未檢查過的像素B,是則執行步驟D,否則執行步驟E;
步驟D:對任意一個未檢查過的像素B,如果所述像素B滿足生長條件,則將所述像素B標
記為新的活動點,將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度值得
到的差值,返回步驟C;如果所述像素B不滿足生長條件,則返回步驟C;其中,所述生長條件
是:所述像素B的邊緣梯度值小于或等于所述像素A的能量值;
步驟E:判定所述像素A已經完成生長,去除所述像素A的活動點標記,將所述像素A歸入
前景點集合,返回步驟B;
步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊緣梯
度信息向外生長形成的子區域。
9.一種實現交互式圖像分割的裝置,包括:
預處理???,用于檢測到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生長成
標記區,確定包含所述涂抹軌跡的一塊區域作為感興趣區域,所述感興趣區域包含所述標
記區,生成圖像分割算法的輸入掩模圖:將所述標記區中所有的像素作為所述掩模圖中的
前景點,將所述感興趣區域中標記區外的像素作為所述掩模圖中的背景點;
分割參數計算及融合???,用于獲取包含目標對象顏色信息的彩色圖和包含目標對象
深度信息的深度圖,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參
數,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,所述第一分割
參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像
素的數值差異;將所述第一分割參數與所述第二分割參數進行融合;
掩模圖調整???,用于構建無向圖,將所述掩模圖中的每一個像素的融合后的分割參
數映射到所述無向圖中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后
的掩模圖;
輸出???,用于從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖
像。
10.一種終端,包括上述權利要求9所述的實現交互式圖像分割的裝置。

說明書

一種實現交互式圖像分割的方法、裝置及終端

技術領域

本發明涉及圖像處理技術領域,尤其涉及一種實現交互式圖像分割的方法、裝置
及終端。

背景技術

圖像分割,是指將平面圖像依照顏色、紋理、形狀等特征將其劃分為互不相連的若
干區域,這是圖像處理領域的一項實用的基礎技術。現有的圖像分割技術有基于閾值的分
割方法、基于邊緣的分割方法、基于區域的分割方法、基于能量泛函的分割方法、基于圖論
的分割方法等。其中在圖論方法里比較知名的有GraphCut算法及其改進版本GrabCut算法。

GraphCut算法及其改進版本GrabCut算法,是基于區域標注的交互式圖像分割方
法。GraphCut算法是基于馬爾可夫隨機場(Markov Random Field,MRF)能量最小化框架的
一種算法,優點在于可以結合多種理論知識進行全局最優求解。GrabCut算法是對GraphCut
算法的改進,GrabCut算法通過在原始圖像上標注出前景點(要提取的目標對象上的點)和
背景點生成掩模圖,利用原圖和掩模圖對前景、背景顏色空間建立高斯混合模型(Gaussian
Mixture Model,GMM),利用GMM參數學習、估計過程中可進化的迭代算法完成能量最小化,
判決出圖像中的前景點和背景點,從原圖中提取出由前景點像素組成的目標圖像。

在手機上使用GrabCut算法進行圖像分割時,為了降低交互的復雜性,通常對用戶
如何標記不做嚴格要求,因此,在用戶標記的前景點較少的情況下迭代次數可能很多,算法
運行時間較長,影響了用戶的體驗。另一方面,相關技術中的GrabCut算法是基于彩色圖像
進行圖像分割的,當要提取的目標對象的顏色特征并不明顯時,利用彩色圖進行分割的分
割效果并不理想。

發明內容

本發明所要解決的技術問題是提供一種實現交互式圖像分割的方法、裝置及終
端,能夠縮短算法的運行時間,結合圖像的深度信息改善圖像分割的效果。

本發明實施例提供了一種實現交互式圖像分割的方法,包括:

檢測到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生長成標記區,確定
包含所述涂抹軌跡的一塊區域作為感興趣區域,所述感興趣區域包含所述標記區,生成圖
像分割算法的輸入掩模圖:將所述標記區中所有的像素作為所述掩模圖中的前景點,將所
述感興趣區域中標記區外的像素作為所述掩模圖中的背景點;

獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖,根據所
述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,根據所述深度圖和掩模圖
確定所述掩模圖上各個像素的第二分割參數,所述第一分割參數和第二分割參數用于表示
像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異;將所述第一分割
參數與所述第二分割參數進行融合;

構建無向圖,將所述掩模圖中的每一個像素的融合后的分割參數映射到所述無向
圖中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模圖;

從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像。

可選地,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,
包括:根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數,所述第一區域項分
割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。

可選地,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,
還包括:根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數,所述第二區域項分
割參數是所述像素基于所述深度圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。

可選地,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,
還包括:根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參數:

根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數;

其中,對任意一個像素,將RGB三個顏色通道上所述像素與鄰近的各個像素之間的
數值差值絕對值進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述
像素的第一邊界項分割參數。

可選地,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,
還包括:根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參數:

根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數;

其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值
進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界
項分割參數。

可選地,將所述第一分割參數與所述第二分割參數進行融合,包括:將所述第一區
域項分割參數與所述第二區域項分割參數進行融合:

對任意一個像素,將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一
區域項分割參數,將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參
數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割
參數相加的和作為融合后的區域項分割參數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類不相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分
割參數中數值較大者指示的像素分類作為所述像素的最終分類,將所述調整后的第一區域
項分割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分
割參數。

可選地,將所述第一分割參數與所述第二分割參數進行融合,還包括:將所述第一
邊界項分割參數與所述第二邊界項分割參數進行融合:

將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數,
將所述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數,然后將所述調
整后的第一邊界項分割參數與所述調整后的第二邊界項分割參數相加得到所述像素的融
合后的邊界項分割參數;a大于或等于0且小于或等于1。

可選地,所述權重a根據自評價參數k1和一致性參數k2進行確定:將自評價參數k1
和一致性參數k2的積作為權重a;

其中,自評價參數k1采用以下方式進行確定:根據像素的深度值確定像素對應的
拍攝距離的遠近程度,根據所述拍攝距離的遠近程度設置自評價參數k1,所述拍攝距離越
近,自評價參數k1設置得越大;k1大于或等于0且小于或等于1;

其中,所述一致性參數k2采用以下方式進行確定:

如果所述第一邊界項分割參數與所述第二邊界項分割參數相等,則設置一致性參
數k2為第一常數;

如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等,在所述第一邊
界項分割參數與所述第二邊界項分割參數同時大于閾值或同時小于閾值時,設置一致性參
數k2為第一常數;在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大于閾值
或不同時小于閾值時,設置一致性參數k2為第二常數;所述第一常數大于所述第二常數;所
述第一常數大于0且小于或等于1,所述第二常數大于0且小于1。

可選地,構建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數映射到
所述無向圖中,包括:

構建一個無向圖,在所述無向圖的平面外設置兩個懸空點Q0和Q1,所述懸空點Q0為
虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個
像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所
述懸空點Q1之間建立連線;

對掩模圖中的任意一個像素Pi,將所述像素Pi的融合后的區域項分割參數作為所
述無向圖中映射點Pi'的權值,將所述像素Pi的融合后的邊界項分割參數作為所述無向圖中
映射點Pi'與懸空點Q0或Q1之間連線的權值。

可選地,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模
圖,包括:

迭代執行以下C步驟和D步驟,在迭代運行達到收斂條件后停止迭代過程,將所述
前景點集合Q中的各個像素作為精細分割后的掩模圖中的前景點;

其中,C步驟和D步驟分別包括以下處理:

C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景
點的像素構成前景點集合Q;

D步驟:計算所述前景點集合Q的權值總和,所述權值總和是所述前景點集合Q中所
有前景點的權值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和;

其中,所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。

可選地,所述將所述涂抹軌跡作為骨架生長成標記區,確定包含所述涂抹軌跡的
一塊區域作為感興趣區域,包括:

獲取原始圖像的邊緣梯度信息,從所述涂抹軌跡的像素中選取部分像素作為種
子,每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域,所有的種子向外
生長形成的子區域合并后形成一個擴展區域,將所述擴展區域作為標記區;

根據所述涂抹軌跡的形狀特點套用幾何形狀模板,根據所述幾何形狀模板生成包
含所述涂抹軌跡的感興趣區域,如果所述感興趣區域沒有包含所述標記區,則將所述感興
趣區域擴展至包含所述標記區;或者對所述標記區進行膨脹處理形成感興趣區域。

可選地,所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域,包
括對每一個種子執行下述步驟A-F:

步驟A:將所述種子作為起始點,為所述起始點設置能量值,將所述起始點標記為
活動點;

步驟B:判斷當前是否存在標記為活動點的像素,是則執行步驟C,否則執行步驟F;

步驟C:對任意一個標記為活動點的像素A,判斷所述像素A的上、下、左、右四個相
鄰點中是否存在未檢查過的像素B,是則執行步驟D,否則執行步驟E;

步驟D:對任意一個未檢查過的像素B,如果所述像素B滿足生長條件,則將所述像
素B標記為新的活動點,將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度
值得到的差值,返回步驟C;如果所述像素B不滿足生長條件,則返回步驟C;其中,所述生長
條件是:所述像素B的邊緣梯度值小于或等于所述像素A的能量值;

步驟E:判定所述像素A已經完成生長,去除所述像素A的活動點標記,將所述像素A
歸入前景點集合,返回步驟B;

步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊
緣梯度信息向外生長形成的子區域。

可選地,所述圖像分割算法是GrabCut算法。

本發明實施例提供了一種實現交互式圖像分割的裝置,包括:

預處理???,用于檢測到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生
長成標記區,確定包含所述涂抹軌跡的一塊區域作為感興趣區域,所述感興趣區域包含所
述標記區,生成圖像分割算法的輸入掩模圖:將所述標記區中所有的像素作為所述掩模圖
中的前景點,將所述感興趣區域中標記區外的像素作為所述掩模圖中的背景點;

分割參數計算及融合???,用于獲取包含目標對象顏色信息的彩色圖和包含目標
對象深度信息的深度圖,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割
參數,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,所述第一分
割參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰
像素的數值差異;將所述第一分割參數與所述第二分割參數進行融合;

掩模圖調整???,用于構建無向圖,將所述掩模圖中的每一個像素的融合后的分
割參數映射到所述無向圖中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分
割后的掩模圖;

輸出???,用于從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的
圖像。

可選地,分割參數計算及融合???,用于采用以下方式根據所述彩色圖和掩模圖
確定所述掩模圖上各個像素的第一分割參數:根據所述彩色圖和掩模圖確定所述掩模圖上
各個像素的第一區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數,所述第一區域項分
割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。

可選地,分割參數計算及融合???,還用于采用以下方式根據所述深度圖和掩模
圖確定所述掩模圖上各個像素的第二分割參數:根據所述深度圖和掩模圖確定所述掩模圖
上各個像素的第二區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數,所述第二區域項分
割參數是所述像素基于所述深度圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。

可選地,分割參數計算及融合???,還用于采用以下方式根據所述彩色圖和掩模
圖確定所述掩模圖上各個像素的第一分割參數:根據所述彩色圖和掩模圖確定所述掩模圖
上各個像素的第一邊界項分割參數:

根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數;

其中,對任意一個像素,將RGB三個顏色通道上所述像素與鄰近的各個像素之間的
數值差值絕對值進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述
像素的第一邊界項分割參數。

可選地,分割參數計算及融合???,還用于采用以下方式根據所述深度圖和掩模
圖確定所述掩模圖上各個像素的第二分割參數:根據所述深度圖和掩模圖確定所述掩模圖
上各個像素的第二邊界項分割參數:

根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數;

其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值
進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界
項分割參數。

可選地,分割參數計算及融合???,用于采用以下方式將所述第一分割參數與所
述第二分割參數進行融合:將所述第一區域項分割參數與所述第二區域項分割參數進行融
合:

對任意一個像素,將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一
區域項分割參數,將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參
數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割
參數相加的和作為融合后的區域項分割參數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類不相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分
割參數中數值較大者指示的像素分類作為所述像素的最終分類,將所述調整后的第一區域
項分割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分
割參數。

可選地,分割參數計算及融合???,還用于采用以下方式將所述第一分割參數與
所述第二分割參數進行融合:將所述第一邊界項分割參數與所述第二邊界項分割參數進行
融合:

將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數,
將所述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數,然后將所述調
整后的第一邊界項分割參數與所述調整后的第二邊界項分割參數相加得到所述像素的融
合后的邊界項分割參數;a大于或等于0且小于或等于1。

可選地,所述權重a根據自評價參數k1和一致性參數k2進行確定:將自評價參數k1
和一致性參數k2的積作為權重a;

其中,自評價參數k1采用以下方式進行確定:根據像素的深度值確定像素對應的
拍攝距離的遠近程度,根據所述拍攝距離的遠近程度設置自評價參數k1,所述拍攝距離越
近,自評價參數k1設置得越大;k1大于或等于0且小于或等于1;

其中,所述一致性參數k2采用以下方式進行確定:

如果所述第一邊界項分割參數與所述第二邊界項分割參數相等,則設置一致性參
數k2為第一常數;

如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等,在所述第一邊
界項分割參數與所述第二邊界項分割參數同時大于閾值或同時小于閾值時,設置一致性參
數k2為第一常數;在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大于閾值
或不同時小于閾值時,設置一致性參數k2為第二常數;所述第一常數大于所述第二常數;所
述第一常數大于0且小于或等于1,所述第二常數大于0且小于1。

可選地,掩模圖調整???,用于采用以下方式構建無向圖并將所述掩模圖中的每
一個像素的融合后的分割參數映射到所述無向圖中:

構建一個無向圖,在所述無向圖的平面外設置兩個懸空點Q0和Q1,所述懸空點Q0為
虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個
像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所
述懸空點Q1之間建立連線;

對掩模圖中的任意一個像素Pi,將所述像素Pi的融合后的區域項分割參數作為所
述無向圖中映射點Pi'的權值,將所述像素Pi的融合后的邊界項分割參數作為所述無向圖中
映射點Pi'與懸空點Q0或Q1之間連線的權值。

可選地,掩模圖調整???,用于采用以下方式根據最小割-最大流算法對所述無向
圖進行處理,獲得精細分割后的掩模圖:

迭代執行以下C步驟和D步驟,在迭代運行達到收斂條件后停止迭代過程,將所述
前景點集合Q中的各個像素作為精細分割后的掩模圖中的前景點;

其中,C步驟和D步驟分別包括以下處理:

C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景
點的像素構成前景點集合Q;

D步驟:計算所述前景點集合Q的權值總和,所述權值總和是所述前景點集合Q中所
有前景點的權值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和;

其中,所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。

可選地,預處理???,用于采用以下方式將所述涂抹軌跡作為骨架生長成標記區,
確定包含所述涂抹軌跡的一塊區域作為感興趣區域:

獲取原始圖像的邊緣梯度信息,從所述涂抹軌跡的像素中選取部分像素作為種
子,每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域,所有的種子向外
生長形成的子區域合并后形成一個擴展區域,將所述擴展區域作為標記區;

根據所述涂抹軌跡的形狀特點套用幾何形狀模板,根據所述幾何形狀模板生成包
含所述涂抹軌跡的感興趣區域,如果所述感興趣區域沒有包含所述標記區,則將所述感興
趣區域擴展至包含所述標記區;或者對所述標記區進行膨脹處理形成感興趣區域。

可選地,所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域,包
括對每一個種子執行下述步驟A-F:

步驟A:將所述種子作為起始點,為所述起始點設置能量值,將所述起始點標記為
活動點;

步驟B:判斷當前是否存在標記為活動點的像素,是則執行步驟C,否則執行步驟F;

步驟C:對任意一個標記為活動點的像素A,判斷所述像素A的上、下、左、右四個相
鄰點中是否存在未檢查過的像素B,是則執行步驟D,否則執行步驟E;

步驟D:對任意一個未檢查過的像素B,如果所述像素B滿足生長條件,則將所述像
素B標記為新的活動點,將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度
值得到的差值,返回步驟C;如果所述像素B不滿足生長條件,則返回步驟C;其中,所述生長
條件是:所述像素B的邊緣梯度值小于或等于所述像素A的能量值;

步驟E:判定所述像素A已經完成生長,去除所述像素A的活動點標記,將所述像素A
歸入前景點集合,返回步驟B;

步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊
緣梯度信息向外生長形成的子區域。

可選地,所述圖像分割算法是GrabCut算法。

本發明實施例還提供了一種終端,包括上述實現交互式圖像分割的裝置。

本文提出的一種實現交互式圖像分割的方法、裝置及終端,將原始圖像上的涂抹
軌跡作為骨架生長成標記區,確定包含所述標記區的感興趣區域,生成圖像分割算法的輸
入掩模圖:將標記區中所有的像素作為掩模圖中的前景點,將感興趣區域中標記區外的像
素作為掩模圖中的背景點;獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息
的深度圖,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,根據所
述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,所述第一分割參數和第二
分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差
異;將所述第一分割參數與所述第二分割參數進行融合;構建無向圖,將所述掩模圖中的每
一個像素的融合后的分割參數映射到所述無向圖中,根據最小割-最大流算法對所述無向
圖進行處理,獲得精細分割后的掩模圖;從所述彩色圖中分割出所述精細分割后的掩模圖
中前景點對應的圖像。本文的技術方案能夠通過圖像預處理擴充圖像分割算法標記的前景
點數目,減少圖像分割算法標記的背景點數目,從而縮短圖像分割算法的運行時間,基于深
度圖和彩色圖分別計算各像素的分割參數并進行參數融合,利用融合后的分割參數進行圖
像分割,相較于相關技術中僅僅使用彩色圖進行圖像分割,能夠改善圖像分割的效果。

附圖說明

圖1為實現本發明各個實施例一可選的移動終端的硬件結構示意圖;

圖2為如圖1所示的移動終端的無線通信系統示意圖;

圖3為本發明實施例1的一種實現交互式圖像分割的方法流程圖;

圖4為本發明實施例2的一種實現交互式圖像分割的裝置示意圖;

圖5-a為本發明應用示例1中原始圖像以及用戶涂抹軌跡的示意圖;

圖5-b為本發明應用示例1中由涂抹軌跡生成的標記區和感興趣區域的示意圖;

圖5-c-1為本發明應用示例1中種子生長過程中的起始活動點及周邊鄰域的示意
圖;

圖5-c-2為本發明應用示例1中種子生長過程中的起始活動點生長成的子區域的
示意圖;

圖5-c-3為本發明應用示例1中種子生長過程中的起始活動點以及新的活動點共
同生長成的區域的示意圖;

圖5-d為本發明應用示例1中由標記區和感興趣區域生成的掩模圖的示意圖;

圖5-e為本發明應用示例1的深度圖的示意圖;

圖5-f為本發明應用示例1的無向圖的示意圖;

圖5-g為本發明應用示例1中精細分割后的掩模圖的示意圖;

圖5-h為本發明應用示例1中分割出的目標對象的示意圖。

本發明目的的實現、功能特點及優點將結合實施例,參照附圖做進一步說明。

具體實施方式

下面將結合附圖及實施例對本發明的技術方案進行更詳細的說明。

現在將參考附圖描述實現本申請各個實施例的移動終端。在后續的描述中,使用
用于表示元件的諸如“??欏?、“部件”或“單元”的后綴僅為了有利于本發明的說明,其本身
并沒有特定的意義。因此,"???與"部件"可以混合地使用。

移動終端可以以各種形式來實施。例如,本發明中描述的終端可以包括諸如移動
電話、智能電話、筆記本電腦、數字廣播接收器、PDA(個人數字助理)、PAD(平板電腦)、PMP
(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數字TV、臺式計算機等等的固
定終端。下面,假設終端是移動終端。然而,本領域技術人員將理解的是,除了特別用于移動
目的的元件之外,根據本發明的實施方式的構造也能夠應用于固定類型的終端。

圖1為實現本申請各個實施例一個可選的移動終端的硬件結構示意圖。

移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入
單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190
等等。

圖1示出了具有各種組件的移動終端100,但是應理解的是,并不要求實施所有示
出的組件??梢蘊媧厥凳└嗷蚋俚淖榧?。將在下面詳細描述移動終端100的元件。

無線通信單元110通??梢園ㄒ桓齷蚨喔鱟榧?,其允許移動終端100與無線通信
系統或網絡之間的無線電通信。例如,無線通信單元110可以包括廣播接收???11、移動通
信???12、無線互聯網???13、短程通信???14和位置信息???15中的至少一個。

廣播接收???11經由廣播信道從外部廣播管理服務器接收廣播信號和/或廣播
相關信息。廣播信道可以包括衛星信道和/或地面信道。廣播管理服務器可以是生成并發送
廣播信號和/或廣播相關信息的服務器或者接收之前生成的廣播信號和/或廣播相關信息
并且將其發送給終端的服務器。廣播信號可以包括TV廣播信號、無線電廣播信號、數據廣播
信號等等。而且,廣播信號可以進一步包括與TV或無線電廣播信號組合的廣播信號。廣播相
關信息也可以經由移動通信網絡提供,并且在所述情況下,廣播相關信息可以由移動通信
???12來接收。廣播信號可以以各種形式存在,例如,其可以以數字多媒體廣播(DMB)的電
子節目指南(EPG)、數字視頻廣播手持(DVB-H)的電子服務指南(ESG)等等的形式而存在。廣
播接收???11可以通過使用各種類型的廣播系統接收信號廣播。特別地,廣播接收???br />111可以通過使用諸如多媒體廣播-地面(DMB-T)、數字多媒體廣播-衛星(DMB-S)、數字視頻
廣播-手持(DVB-H),前向鏈路媒體([email protected])的數據廣播系統、地面數字廣播綜合服務
(ISDB-T)等等的數字廣播系統接收數字廣播。廣播接收???11可以被構造為適合提供廣
播信號的各種廣播系統以及上述數字廣播系統。經由廣播接收???11接收的廣播信號和/
或廣播相關信息可以存儲在存儲器160(或者其它類型的存儲介質)中。

移動通信???12將無線電信號發送到基站(例如,接入點、節點B等等)、外部終端
以及服務器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通
話信號、視頻通話信號、或者根據文本和/或多媒體消息發送和/或接收的各種類型的數據。

無線互聯網???13支持移動終端的無線互聯網接入。所述??榭梢閱誆炕蟯獠?br />地耦接到終端。所述??樗婕暗奈尷呋チ尤爰際蹩梢園╓LAN(無線LAN)(Wi-Fi)、
Wibro(無線寬帶)、Wimax(全球微波互聯接入)、HSDPA(高速下行鏈路分組接入)等等。

短程通信???14是用于支持短程通信的???。短程通信技術的一些示例包括藍
牙TM、射頻識別(RFID)、紅外數據協會(IrDA)、超寬帶(UWB)、紫蜂TM等等。

位置信息???15是用于檢查或獲取移動終端的位置信息的???。位置信息???br />115的典型示例是GPS(全球定位系統)。根據當前的技術,GPS計算來自三個或更多衛星的距
離信息和準確的時間信息并且對于計算的信息應用三角測量法,從而根據經度、緯度和高
度準確地計算三維當前位置信息。當前,用于計算位置和時間信息的方法使用三顆衛星并
且通過使用另外的一顆衛星校正計算出的位置和時間信息的誤差。此外,GPS能夠通過實時
地連續計算當前位置信息來計算速度信息。

A/V輸入單元120用于接收音頻或視頻信號。A/V輸入單元120可以包括相機121和
麥克風122,相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態圖片
或視頻的圖像數據進行處理。處理后的圖像幀可以顯示在顯示單元151上。經相機121處理
后的圖像幀可以存儲在存儲器160(或其它存儲介質)中或者經由無線通信單元110進行發
送,可以根據移動終端100的構造提供兩個或更多相機121。麥克風122可以在電話通話模
式、記錄模式、語音識別模式等等運行模式中經由麥克風122接收聲音(音頻數據),并且能
夠將這樣的聲音處理為音頻數據。處理后的音頻(語音)數據可以在電話通話模式的情況下
轉換為可經由移動通信???12發送到移動通信基站的格式輸出。麥克風122可以實施各種
類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發送音頻信號的過程中產生的噪
聲或者干擾。

用戶輸入單元130可以根據用戶輸入的命令生成鍵輸入數據以控制移動終端100
的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息,并且可以包括鍵盤、鍋仔片、
觸摸板(例如,檢測由于被接觸而導致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖
桿等等。特別地,當觸摸板以層的形式疊加在顯示單元151上時,可以形成觸摸屏。

感測單元140檢測移動終端100的當前狀態,(例如,移動終端100的打開或關閉狀
態)、移動終端100的位置、用戶對于移動終端100的接觸(即,觸摸輸入)的有無、移動終端
100的取向、移動終端100的加速或減速移動和方向等等,并且生成用于控制移動終端100的
操作的命令或信號。例如,當移動終端100實施為滑動型移動電話時,感測單元140可以感測
所述滑動型電話是打開還是關閉。另外,感測單元140能夠檢測電源單元190是否提供電力
或者接口單元170是否與外部裝置耦接。感測單元140可以包括接近傳感器141。

接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如,
外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無
線數據端口、存儲卡端口、用于連接具有識別??櫚淖爸玫畝絲?、音頻輸入/輸出(I/O)端
口、視頻I/O端口、耳機端口等等。識別??榭梢允譴媧⒂糜諮櫓び沒褂靡貧斬?00的各
種信息并且可以包括用戶識別???UIM)、客戶識別???SIM)、通用客戶識別???USIM)
等等。另外,具有識別??櫚淖爸?下面稱為"識別裝置")可以采取智能卡的形式,因此,識
別裝置可以經由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自
外部裝置的輸入(例如,數據信息、電力等等)并且將接收到的輸入傳輸到移動終端100內的
一個或多個元件或者可以用于在移動終端100和外部裝置之間傳輸數據。

另外,當移動終端100與外部底座連接時,接口單元170可以用作允許通過其將電
力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其
傳輸到移動終端100的路徑。從底座輸入的各種命令信號或電力可以用作識別移動終端100
是否準確地安裝在底座上的信號。輸出單元150被構造為以視覺、音頻和/或觸覺方式提供
輸出信號(例如,音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯
示單元151、音頻輸出???52、警報單元153等等。

顯示單元151可以顯示在移動終端100中處理的信息。例如,當移動終端100處于電
話通話模式時,顯示單元151可以顯示與通話或其它通信(例如,文本消息收發、多媒體文件
下載等等)相關的用戶界面(UI)或圖形用戶界面(GUI)。當移動終端100處于視頻通話模式
或者圖像捕獲模式時,顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖
像以及相關功能的UI或GUI等等。

同時,當顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏時,顯示單元
151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管
LCD(TFT-LCD)、有機發光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少
一種。這些顯示器中的一些可以被構造為透明狀以允許用戶從外部觀看,這可以稱為透明
顯示器,典型的透明顯示器可以例如為TOLED(透明有機發光二極管)顯示器等等。根據特定
想要的實施方式,移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置),例如,移
動終端100可以包括外部顯示單元(未示出)和內部顯示單元(未示出)。觸摸屏可用于檢測
觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。

音頻輸出???52可以在移動終端100處于呼叫信號接收模式、通話模式、記錄模
式、語音識別模式、廣播接收模式等等模式下時,將無線通信單元110接收的或者在存儲器
160中存儲的音頻數據轉換音頻信號并且輸出為聲音。而且,音頻輸出???52可以提供與
移動終端100執行的特定功能相關的音頻輸出(例如,呼叫信號接收聲音、消息接收聲音等
等)。音頻輸出???52可以包括揚聲器、蜂鳴器等等。

警報單元153可以提供輸出以將事件的發生通知給移動終端100。典型的事件可以
包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外,警報單元
153可以以不同的方式提供輸出以通知事件的發生。例如,警報單元153可以以振動的形式
提供輸出,當接收到呼叫、消息或一些其它進入通信(incoming communication)時,警報單
元153可以提供觸覺輸出(即,振動)以將其通知給用戶。通過提供這樣的觸覺輸出,即使在
用戶的移動電話處于用戶的口袋中時,用戶也能夠識別出各種事件的發生。警報單元153也
可以經由顯示單元151或音頻輸出???52提供通知事件的發生的輸出。

存儲器160可以存儲由控制器180執行的處理和控制操作的軟件程序等等,或者可
以暫時地存儲己經輸出或將要輸出的數據(例如,電話簿、消息、靜態圖像、視頻等等)。而
且,存儲器160可以存儲關于當觸摸施加到觸摸屏時輸出的各種方式的振動和音頻信號的
數據。

存儲器160可以包括至少一種類型的存儲介質,所述存儲介質包括閃存、硬盤、多
媒體卡、卡型存儲器(例如,SD或DX存儲器等等)、隨機訪問存儲器(RAM)、靜態隨機訪問存儲
器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器
(PROM)、磁性存儲器、磁盤、光盤等等。而且,移動終端100可以與通過網絡連接執行存儲器
160的存儲功能的網絡存儲裝置協作。

控制器180通??刂埔貧斬說淖芴宀僮?。例如,控制器180執行與語音通話、數據
通信、視頻通話等等相關的控制和處理。另外,控制器180可以包括用于再現(或回放)多媒
體數據的多媒體???81,多媒體???81可以構造在控制器180內,或者可以構造為與控制
器180分離??刂破?80可以執行模式識別處理,以將在觸摸屏上執行的手寫輸入或者圖片
繪制輸入識別為字符或圖像。

電源單元190在控制器180的控制下接收外部電力或內部電力并且提供操作各元
件和組件所需的適當的電力。

這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算
機可讀介質來實施。對于硬件實施,這里描述的實施方式可以通過使用特定用途集成電路
(ASIC)、數字信號處理器(DSP)、數字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現場可
編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設計為執行這里描述的功能的
電子單元中的至少一種來實施,在一些情況下,這樣的實施方式可以在控制器180中實施。
對于軟件實施,諸如過程或功能的實施方式可以與允許執行至少一種功能或操作的單獨的
軟件??槔詞凳?。軟件代碼可以由以任何適當的編程語言編寫的軟件應用程序(或程序)來
實施,軟件代碼可以存儲在存儲器160中并且由控制器180執行。

至此,己經按照其功能描述了移動終端100。另外,本發明實施例中的移動終端100
可以是諸如折疊型、直板型、擺動型、滑動型以及其他各種類型的移動終端,具體此處不做
限定。

如圖1中所示的移動終端100可以被構造為利用經由幀或分組發送數據的諸如有
線和無線通信系統以及基于衛星的通信系統來操作。

現在將參考圖2描述其中根據本發明的移動終端能夠操作的通信系統。

這樣的通信系統可以使用不同的空中接口和/或物理層。例如,由通信系統使用的
空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系
統(UMTS)(特別地,長期演進(LTE))、全球移動通信系統(GSM)等等。作為非限制性示例,下
面的描述涉及CDMA通信系統,但是這樣的教導同樣適用于其它類型的系統。

參考圖2,CDMA無線通信系統可以包括多個移動終端100、多個基站(BS)270、基站
控制器(BSC)275和移動交換中心(MSC)280。MSC 280被構造為與公共電話交換網絡(PSTN)
290形成接口。MSC 280還被構造為與可以經由回程線路耦接到基站270的BSC 275形成接
口?;爻滔唄房梢愿萑舾杉褐慕涌謚械娜我恢擲垂乖?,所述接口可以包括例如歐洲標
準高容量數字線路/美國標準高容量數字線路(E1/T1)、異步傳輸模式(ATM),網絡協議
(IP)、點對點協議(PPP)、幀中繼、高速率數字用戶線路(HDSL)、非對稱數字用戶線路(ADSL)
或各種類型數字用戶線路(xDSL)。將理解的是,如圖2中所示的系統可以包括多個BSC 275。

每個BS 270可以服務一個或多個分區(或區域),由多向天線或指向特定方向的天
線覆蓋的每個分區放射狀地遠離BS 270?;蛘?,每個分區可以由用于分集接收的兩個或更
多天線覆蓋。每個BS 270可以被構造為支持多個頻率分配,并且每個頻率分配具有特定頻
譜(例如,1.25MHz,5MHz等等)。

分區與頻率分配的交叉可以被稱為CDMA信道。BS 270也可以被稱為基站收發器子
系統(BTS)或者其它等效術語。在這樣的情況下,術語"基站"可以用于籠統地表示單個BSC
275和至少一個BS 270?;疽部梢員懷莆?蜂窩站"?;蛘?,特定BS 270的各分區可以被稱
為多個蜂窩站。

如圖2中所示,廣播發射器(BT)295將廣播信號發送給在系統內操作的移動終端
100。如圖1中所示的廣播接收???11被設置在移動終端100處以接收由BT 295發送的廣播
信號。在圖2中,示出了幾個全球定位系統(GPS)衛星300。衛星300幫助定位多個移動終端
100中的至少一個。

在圖2中,描繪了多個衛星300,但是理解的是,可以利用任何數目的衛星獲得有用
的定位信息。如圖1中所示的位置信息???15(如:GPS)通常被構造為與衛星300配合以獲
得想要的定位信息。替代GPS跟蹤技術或者在GPS跟蹤技術之外,可以使用可以跟蹤移動終
端的位置的其它技術。另外,至少一個GPS衛星300可以選擇性地或者額外地處理衛星DMB傳
輸。

作為無線通信系統的一個典型操作,BS 270接收來自各種移動終端100的反向鏈
路信號。移動終端100通常參與通話、消息收發和其它類型的通信。特定基站接收的每個反
向鏈路信號被在特定BS 270內進行處理?;竦玫氖荼蛔⒏喙氐腂SC 275。BSC提供通
話資源分配和包括BS 270之間的軟切換過程的協調的移動管理功能。BSC 275還將接收到
的數據路由到MSC 280,其提供用于與PSTN 290形成接口的額外的路由服務。類似地,PSTN
290與MSC 280形成接口,MSC與BSC 275形成接口,并且BSC 275相應地控制BS 270以將正向
鏈路信號發送到移動終端100。

基于上述移動終端硬件結構以及通信系統,提出本申請方法各個實施例。

如圖3所示,本發明實施例提出一種實現交互式圖像分割的方法,包括:

S310,檢測到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架生長成標記區,
確定包含所述涂抹軌跡的一塊區域作為感興趣區域,所述感興趣區域包含所述標記區,生
成圖像分割算法的輸入掩模圖:將所述標記區中所有的像素作為所述掩模圖中的前景點,
將所述感興趣區域中標記區外的像素作為所述掩模圖中的背景點;

S320,獲取包含目標對象顏色信息的彩色圖和包含目標對象深度信息的深度圖,
根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數,根據所述深度圖和
掩模圖確定所述掩模圖上各個像素的第二分割參數,所述第一分割參數和第二分割參數用
于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的數值差異;將所述第
一分割參數與所述第二分割參數進行融合;

S330,構建無向圖,將所述掩模圖中的每一個像素的融合后的分割參數映射到所
述無向圖中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模圖;

S340,從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖像;

所述方法還可以包括下述特點:

其中,涂抹是一種標記目標對象的方式,涂抹是在目標對象的內部區域進行標記;

其中,掩模圖是指對一副圖像的部分或全部像素進行了前景與背景區分后生成的
標記圖,所述掩模圖上的每一個像素被標記為前景點或背景點。

在本實施例中,所述圖像分割算法是GrabCut算法。

在一種實施方式中,將所述涂抹軌跡作為骨架生長成標記區,確定包含所述涂抹
軌跡的一塊區域作為感興趣區域,包括:

獲取原始圖像的邊緣梯度信息,從所述涂抹軌跡的像素中選取部分像素作為種
子,每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域,所有的種子向外
生長形成的子區域合并后形成一個擴展區域,將所述擴展區域作為標記區;

根據所述涂抹軌跡的形狀特點套用幾何形狀模板,根據所述幾何形狀模板生成包
含所述涂抹軌跡的感興趣區域,如果所述感興趣區域沒有包含所述標記區,則將所述感興
趣區域擴展至包含所述標記區;或者對所述標記區進行膨脹處理形成感興趣區域。

其中,所述幾何形狀模板包括:矩形模板、多邊形模板、或橢圓模板;

其中,所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域,包括
對每一個種子執行下述步驟A-F:

步驟A:將所述種子作為起始點,為所述起始點設置能量值,將所述起始點標記為
活動點;

步驟B:判斷當前是否存在標記為活動點的像素,是則執行步驟C,否則執行步驟F;

步驟C:對任意一個標記為活動點的像素A,判斷所述像素A的上、下、左、右四個相
鄰點中是否存在未檢查過的像素B,是則執行步驟D,否則執行步驟E;

步驟D:對任意一個未檢查過的像素B,如果所述像素B滿足生長條件,則將所述像
素B標記為新的活動點,將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度
值得到的差值,返回步驟C;如果所述像素B不滿足生長條件,則返回步驟C;其中,所述生長
條件是:所述像素B的邊緣梯度值小于或等于所述像素A的能量值;

步驟E:判定所述像素A已經完成生長,去除所述像素A的活動點標記,將所述像素A
歸入前景點集合,返回步驟B;

步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊
緣梯度信息向外生長形成的子區域。

在本實施例中,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割
參數,包括:根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數,所述第一區域項分
割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類;

在本實施例中,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割
參數,還包括:根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參
數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數,所述第二區域項分
割參數是所述像素基于所述深度圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類;

可選地,所述EM方法的收斂條件可以是:當迭代運行的次數達到閾值時停止迭代
過程;

在本實施例中,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割
參數,還包括:根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項分割參
數:

根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數;

其中,對任意一個像素,將RGB三個顏色通道上所述像素與鄰近的各個像素之間的
數值差值絕對值進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述
像素的第一邊界項分割參數;

其中,RGB三個顏色通道上的數值的取值范圍是:0~255;

在本實施例中,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割
參數,還包括:根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項分割參
數:

根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數;

其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值
進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界
項分割參數;

其中,深度值的數值范圍可以是:0~255;

可選地,與像素鄰近的各個像素可以是所述像素周邊的8個像素。

在本實施例中,將所述第一分割參數與所述第二分割參數進行融合,包括:將所述
第一區域項分割參數與所述第二區域項分割參數進行融合:

對任意一個像素,將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一
區域項分割參數,將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參
數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割
參數相加的和作為融合后的區域項分割參數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類不相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分
割參數中數值較大者指示的像素分類作為所述像素的最終分類,將所述調整后的第一區域
項分割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分
割參數;

在本實施例中,將所述第一分割參數與所述第二分割參數進行融合,還包括:將所
述第一邊界項分割參數與所述第二邊界項分割參數進行融合:

將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數,
將所述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數,然后將所述調
整后的第一邊界項分割參數與所述調整后的第二邊界項分割參數相加得到所述像素的融
合后的邊界項分割參數;a大于或等于0且小于或等于1;

在本實施例中,所述權重a根據自評價參數k1和一致性參數k2進行確定:將自評價
參數k1和一致性參數k2的積作為權重a;

其中,自評價參數k1采用以下方式進行確定:根據像素的深度值確定像素對應的
拍攝距離的遠近程度,根據所述拍攝距離的遠近程度設置自評價參數k1,所述拍攝距離越
近,自評價參數k1設置得越大;k1大于或等于0且小于或等于1;

其中,所述一致性參數k2采用以下方式進行確定:

如果所述第一邊界項分割參數與所述第二邊界項分割參數相等,則設置一致性參
數k2為第一常數;

如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等,在所述第一邊
界項分割參數與所述第二邊界項分割參數同時大于閾值或同時小于閾值時,設置一致性參
數k2為第一常數;在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大于閾值
或不同時小于閾值時,設置一致性參數k2為第二常數;所述第一常數大于所述第二常數;所
述第一常數大于0且小于或等于1,所述第二常數大于0且小于1;

在本實施例中,構建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數
映射到所述無向圖中,包括:

構建一個無向圖,在所述無向圖的平面外設置兩個懸空點Q0和Q1,所述懸空點Q0為
虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個
像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所
述懸空點Q1之間建立連線;

對掩模圖中的任意一個像素Pi,將所述像素Pi的融合后的區域項分割參數作為所
述無向圖中映射點Pi'的權值,將所述像素Pi的融合后的邊界項分割參數作為所述無向圖中
映射點Pi'與懸空點Q0或Q1之間連線的權值。

在本實施例中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后
的掩模圖,包括:

迭代執行以下C步驟和D步驟,在迭代運行達到收斂條件后停止迭代過程,將所述
前景點集合Q中的各個像素作為精細分割后的掩模圖中的前景點;

其中,C步驟和D步驟分別包括以下處理:

C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景
點的像素構成前景點集合Q;

D步驟:計算所述前景點集合Q的權值總和,所述權值總和是所述前景點集合Q中所
有前景點的權值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和;

其中,所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。

相關技術中,圖像分割算法的輸入掩模圖中的前景點是用戶手動標記的,原始圖
像上除去前景點后其他的像素均標記為背景點,存在前景點標記較少且輸入掩模圖尺寸較
大導致圖像分割算法為區分出前景點和背景點的迭代次數增加,算法運行時間長的問題。
采用本發明實施例的方法后,通過將涂抹軌跡作為骨架生長成標記區,將所述標記區中的
像素標記為前景點,從而自動擴充圖像分割算法的輸入掩模圖中標記的前景點數目,通過
生成感興趣區域以替代整幅原始圖像能夠減少圖像分割算法標記的背景點數目,可減少圖
像分割算法為區分出前景點和背景點的迭代次數,顯著地減少圖像分割算法的運行時間。
另一方面,本發明實施例的技術方案能夠基于深度圖和彩色圖分別計算各像素的分割參數
并進行參數融合,利用融合后的分割參數進行圖像分割,相較于相關技術中僅僅使用彩色
圖進行圖像分割,能夠改善圖像分割的效果。

如圖4所示,本發明實施例提出一種實現交互式圖像分割的裝置,包括:

預處理???01,用于檢測到原始圖像上的涂抹軌跡后,將所述涂抹軌跡作為骨架
生長成標記區,確定包含所述涂抹軌跡的一塊區域作為感興趣區域,所述感興趣區域包含
所述標記區,生成圖像分割算法的輸入掩模圖:將所述標記區中所有的像素作為所述掩模
圖中的前景點,將所述感興趣區域中標記區外的像素作為所述掩模圖中的背景點;

分割參數計算及融合???02,用于獲取包含目標對象顏色信息的彩色圖和包含
目標對象深度信息的深度圖,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一
分割參數,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,所述第
一分割參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與
相鄰像素的數值差異;將所述第一分割參數與所述第二分割參數進行融合;

掩模圖調整???03,用于構建無向圖,將所述掩模圖中的每一個像素的融合后的
分割參數映射到所述無向圖中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細
分割后的掩模圖;

輸出???04,用于從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對
應的圖像;

所述裝置還可以包括下述特點:

其中,涂抹是一種標記目標對象的方式,涂抹是在目標對象的內部區域進行標記;

其中,掩模圖是指對一副圖像的部分或全部像素進行了前景與背景區分后生成的
標記圖,所述掩模圖上的每一個像素被標記為前景點或背景點。

在本實施例中,所述圖像分割算法是GrabCut算法。

在一種實施方式中,預處理???,用于采用以下方式將所述涂抹軌跡作為骨架生
長成標記區,確定包含所述涂抹軌跡的一塊區域作為感興趣區域:

獲取原始圖像的邊緣梯度信息,從所述涂抹軌跡的像素中選取部分像素作為種
子,每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域,所有的種子向外
生長形成的子區域合并后形成一個擴展區域,將所述擴展區域作為標記區;

根據所述涂抹軌跡的形狀特點套用幾何形狀模板,根據所述幾何形狀模板生成包
含所述涂抹軌跡的感興趣區域,如果所述感興趣區域沒有包含所述標記區,則將所述感興
趣區域擴展至包含所述標記區;或者對所述標記區進行膨脹處理形成感興趣區域。

其中,所述幾何形狀模板包括:矩形模板、多邊形模板、或橢圓模板;

其中,所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域,包括
對每一個種子執行下述步驟A-F:

步驟A:將所述種子作為起始點,為所述起始點設置能量值,將所述起始點標記為
活動點;

步驟B:判斷當前是否存在標記為活動點的像素,是則執行步驟C,否則執行步驟F;

步驟C:對任意一個標記為活動點的像素A,判斷所述像素A的上、下、左、右四個相
鄰點中是否存在未檢查過的像素B,是則執行步驟D,否則執行步驟E;

步驟D:對任意一個未檢查過的像素B,如果所述像素B滿足生長條件,則將所述像
素B標記為新的活動點,將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度
值得到的差值,返回步驟C;如果所述像素B不滿足生長條件,則返回步驟C;其中,所述生長
條件是:所述像素B的邊緣梯度值小于或等于所述像素A的能量值;

步驟E:判定所述像素A已經完成生長,去除所述像素A的活動點標記,將所述像素A
歸入前景點集合,返回步驟B;

步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊
緣梯度信息向外生長形成的子區域。

在本實施例中,分割參數計算及融合???,用于采用以下方式根據所述彩色圖和
掩模圖確定所述掩模圖上各個像素的第一分割參數:根據所述彩色圖和掩模圖確定所述掩
模圖上各個像素的第一區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數,所述第一區域項分
割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。

可選地,所述EM方法的收斂條件可以是:當迭代運行的次數達到閾值時停止迭代
過程;

在本實施例中,分割參數計算及融合???,還用于采用以下方式根據所述深度圖
和掩模圖確定所述掩模圖上各個像素的第二分割參數:根據所述深度圖和掩模圖確定所述
掩模圖上各個像素的第二區域項分割參數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行達到收斂條件后停止所述迭代過程;將最后一次執行M步驟
獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像素歸
屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數,所述第二區域項分
割參數是所述像素基于所述深度圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類。

在本實施例中,分割參數計算及融合???,還用于采用以下方式根據所述彩色圖
和掩模圖確定所述掩模圖上各個像素的第一分割參數:根據所述彩色圖和掩模圖確定所述
掩模圖上各個像素的第一邊界項分割參數:

根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參數;

其中,對任意一個像素,將RGB三個顏色通道上所述像素與鄰近的各個像素之間的
數值差值絕對值進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述
像素的第一邊界項分割參數。

其中,RGB三個顏色通道上的數值的取值范圍是:0~255;

在本實施例中,分割參數計算及融合???,還用于采用以下方式根據所述深度圖
和掩模圖確定所述掩模圖上各個像素的第二分割參數:根據所述深度圖和掩模圖確定所述
掩模圖上各個像素的第二邊界項分割參數:

根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參數;

其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值
進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界
項分割參數。

其中,深度值的數值范圍可以是:0~255;

可選地,與像素鄰近的各個像素可以是所述像素周邊的8個像素。

在本實施例中,分割參數計算及融合???,用于采用以下方式將所述第一分割參
數與所述第二分割參數進行融合:將所述第一區域項分割參數與所述第二區域項分割參數
進行融合:

對任意一個像素,將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一
區域項分割參數,將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參
數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割
參數相加的和作為融合后的區域項分割參數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類不相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分
割參數中數值較大者指示的像素分類作為所述像素的最終分類,將所述調整后的第一區域
項分割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分
割參數。

在本實施例中,分割參數計算及融合???,還用于采用以下方式將所述第一分割
參數與所述第二分割參數進行融合:將所述第一邊界項分割參數與所述第二邊界項分割參
數進行融合:

將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數,
將所述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數,然后將所述調
整后的第一邊界項分割參數與所述調整后的第二邊界項分割參數相加得到所述像素的融
合后的邊界項分割參數;a大于或等于0且小于或等于1。

可選地,所述權重a根據自評價參數k1和一致性參數k2進行確定:將自評價參數k1
和一致性參數k2的積作為權重a;

其中,自評價參數k1采用以下方式進行確定:根據像素的深度值確定像素對應的
拍攝距離的遠近程度,根據所述拍攝距離的遠近程度設置自評價參數k1,所述拍攝距離越
近,自評價參數k1設置得越大;k1大于或等于0且小于或等于1;

其中,所述一致性參數k2采用以下方式進行確定:

如果所述第一邊界項分割參數與所述第二邊界項分割參數相等,則設置一致性參
數k2為第一常數;

如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等,在所述第一邊
界項分割參數與所述第二邊界項分割參數同時大于閾值或同時小于閾值時,設置一致性參
數k2為第一常數;在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大于閾值
或不同時小于閾值時,設置一致性參數k2為第二常數;所述第一常數大于所述第二常數;所
述第一常數大于0且小于或等于1,所述第二常數大于0且小于1。

在本實施例中,掩模圖調整???,用于采用以下方式構建無向圖并將所述掩模圖
中的每一個像素的融合后的分割參數映射到所述無向圖中:

構建一個無向圖,在所述無向圖的平面外設置兩個懸空點Q0和Q1,所述懸空點Q0為
虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個
像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所
述懸空點Q1之間建立連線;

對掩模圖中的任意一個像素Pi,將所述像素Pi的融合后的區域項分割參數作為所
述無向圖中映射點Pi'的權值,將所述像素Pi的融合后的邊界項分割參數作為所述無向圖中
映射點Pi'與懸空點Q0或Q1之間連線的權值。

其中,掩模圖調整???,用于采用以下方式根據最小割-最大流算法對所述無向圖
進行處理,獲得精細分割后的掩模圖:

迭代執行以下C步驟和D步驟,在迭代運行達到收斂條件后停止迭代過程,將所述
前景點集合Q中的各個像素作為精細分割后的掩模圖中的前景點;

其中,C步驟和D步驟分別包括以下處理:

C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景
點的像素構成前景點集合Q;

D步驟:計算所述前景點集合Q的權值總和,所述權值總和是所述前景點集合Q中所
有前景點的權值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和;

其中,所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。

本發明實施例的方法,通過將涂抹軌跡作為骨架生長成標記區,將所述標記區中
的像素標記為前景點,從而自動擴充圖像分割算法的輸入掩模圖中標記的前景點數目,通
過生成感興趣區域以替代整幅原始圖像能夠減少圖像分割算法標記的背景點數目,可減少
圖像分割算法為區分出前景點和背景點的迭代次數,顯著地減少圖像分割算法的運行時
間。另一方面,本發明實施例的技術方案能夠基于深度圖和彩色圖分別計算各像素的分割
參數并進行參數融合,利用融合后的分割參數進行圖像分割,相較于相關技術中僅僅使用
彩色圖進行圖像分割,能夠改善圖像分割的效果。

實施例3

本發明實施例還提供一種終端,所述終端包括上述實現交互式圖像分割的裝置。

應用示例1

用戶在原始圖像上對自己感興趣的目標對象進行了涂抹,采用本文的圖像分割方
法對所述目標對象進行提取,可以包括以下步驟:

步驟S501,檢測到用戶選擇采用涂抹的方式對目標對象進行標記;

比如,界面上提供兩個用于標記的按鍵,一個是“涂抹”,一個是“勾勒”,如果用戶
點選了“涂抹”按鍵,則對涂抹軌跡進行預處理。

其中,涂抹和勾勒是標記目標對象的兩種不同方式;

一般地,涂抹是在目標對象的內部區域進行標記,勾勒是沿著目標對象的外部輪
廓進行標記;

步驟S502,檢測到用戶在原始圖像上進行涂抹;

比如,如圖5-a所示,用戶在原始圖像上進行了涂抹,目標對象是“訂書機”;

步驟S503,將所述涂抹軌跡作為骨架生長成標記區,確定包含所述涂抹軌跡的一
塊區域作為感興趣區域;

其中,將所述涂抹軌跡作為骨架生長成標記區,包括:

獲取原始圖像的邊緣梯度信息,從所述涂抹軌跡的像素中選取部分像素作為種
子,每一個種子根據圖像的邊緣梯度信息分別向外生長形成一個子區域,所有的種子向外
生長形成的子區域合并后形成一個擴展區域,將所述擴展區域作為標記區;

其中,確定包含所述涂抹軌跡的一塊區域作為感興趣區域,包括:

根據所述涂抹軌跡的形狀特點套用矩形模板,將包含所述涂抹軌跡的矩形模板區
域作為感興趣區域,在標記區生成后,如果所述感興趣區域沒有包含所述標記區,則將所述
感興趣區域擴展至包含所述標記區;

其中,如圖5-b所示,可以采用種子生長方法由所述涂抹軌跡生長出一塊不規則的
區域作為標記區,采用套矩形模板的方法生成感興趣區域,其中,所述感興趣區域的邊框用
虛線表示。

其中,所述每一個種子根據圖像的邊緣梯度信息向外生長形成一個子區域,包括
對每一個種子執行下述步驟A-F:

步驟A:將所述種子作為起始點,為所述起始點設置能量值,將所述起始點標記為
活動點;

步驟B:判斷當前是否存在標記為活動點的像素,是則執行步驟C,否則執行步驟F;

步驟C:對任意一個標記為活動點的像素A,判斷所述像素A的上、下、左、右四個相
鄰點中是否存在未檢查過的像素B,是則執行步驟D,否則執行步驟E;

步驟D:對任意一個未檢查過的像素B,如果所述像素B滿足生長條件,則將所述像
素B標記為新的活動點,將所述像素B的能量值設置為像素A的能量值減去像素B的邊緣梯度
值得到的差值,返回步驟C;如果所述像素B不滿足生長條件,則返回步驟C;其中,所述生長
條件是:所述像素B的邊緣梯度值小于或等于所述像素A的能量值;

步驟E:判定所述像素A已經完成生長,去除所述像素A的活動點標記,將所述像素A
歸入前景點集合,返回步驟B;

步驟F:由所述前景點集合中的所有像素構成的子區域是所述種子根據圖像的邊
緣梯度信息向外生長形成的子區域;

對一個種子的生長情況做如下的說明:

如附圖5-c-1所示,在邊緣梯度圖上,“陡峭2”代表像素的邊緣梯度值為2,梯度值
較大,屬于陡峭類,“平緩1”代表像素的邊緣梯度值為1,梯度值較小,屬于平緩類。

種子作為起始點O,將其標記為活動點,用“*”表示活動點;起始點O的能量值可以
設定為4;起始點O的能量值設置的不同可以影響到生長區域的大小,能量值越大,生長的區
域越大。

如附圖5-c-2所示,當起始點O準備向右生長時,右邊相鄰像素的邊緣梯度值為1,
符合生長條件,所以,將起始點O右邊的第一個像素標記為新的活動點,所述新的活動點的
能量值是起始點O的能量值(4)減去所述相鄰像素的邊緣梯度值(1)得到的差(3)。用同樣的
方法,將起始點O上、下、左、右四個方向的相鄰像素逐一進行檢查,符合生長條件的相鄰像
素成為新的活動點,起始點O相鄰的四個像素均滿足生長條件,被標記為新的活動點。在起
始點O完成檢查后,將所述起始點O的活動點標志移除。

對每一個新標記的活動點,采用與起始點O同樣的生長方法,能夠向外擴展新的活
動點。所有活動點停止生長后的子區域的示意圖如附圖5-c-3所示。

步驟S504,生成圖像分割算法(GrabCut算法)的輸入掩模圖:將所述標記區中所有
的像素作為掩模圖中的前景點,將所述感興趣區域中標記區外的像素作為掩模圖中的背景
點。

比如,如圖5-d所示,包含涂抹軌跡的不規則深色區域是標記區,所述標記區是掩
模圖(輸入掩模圖)中的前景點區塊;感興趣區域的邊緣用虛線框進行表示,所述虛線框內
除去標記區(前景點區塊)的部分是掩模圖中的背景點區塊。

步驟S505,獲取彩色圖,以及包含目標對象深度信息的深度圖;

如圖5-a所示,用戶進行涂抹的原始圖像是彩色圖;

如圖5-e所示,深度圖是包含深度信息的一張圖,與彩色圖的尺寸大小一致;深度
圖中,顏色較深的部分拍攝距離較遠,顏色較淺的部分拍攝距離較近。

步驟S506,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參
數,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數,所述第一分割
參數和第二分割參數用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像
素的數值差異;將所述第一分割參數與所述第二分割參數進行融合;

其中,對所述掩模圖上任意一個像素,所述像素的分割參數包括區域項分割參數
和邊界項分割參數;所述像素的區域項分割參數是指所述像素判決為前景點或背景點的概
率;所述像素的邊界項分割參數是指所述像素與相鄰像素的數值差異;

其中,根據所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區域項分割參
數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行此處達到指定次數后停止所述迭代過程;將最后一次執行M
步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像
素歸屬于某個簇的最大概率值Pmax確定為所述像素的第一區域項分割參數,所述第一區域
項分割參數是所述像素基于所述彩色圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的顏色值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類;

其中,各個像素的顏色值可以是RGB值;

其中,根據所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區域項分割參
數:

按EM方法進行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E
步驟和M步驟,在所述迭代運行次數達到指定次數后停止所述迭代過程;將最后一次執行M
步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執行M步驟獲得的所述像
素歸屬于某個簇的最大概率值Pmax確定為所述像素的第二區域項分割參數,所述第二區域
項分割參數是所述像素基于所述深度圖判決為前景點或背景點的概率;

其中,所述E步驟和M步驟分別包括以下處理:

E步驟:根據所述掩模圖上各個像素的深度值以及像素之間的位置關系通過聚簇
將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景
點或背景點;簇的分類包括前景點簇或背景點簇;

M步驟:根據各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個
像素,根據所述像素的最大概率值Pmax對應的簇確定所述像素的分類;

其中,根據所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項分割參
數,包括:對任意一個像素,將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數值
差值絕對值進行累加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素
的第一邊界項分割參數;

其中,RGB三個顏色通道上的數值的取值范圍是:0~255;

其中,根據所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項分割參
數,包括:對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值進行累
加,再對累加和進行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界項分割
參數;

其中,深度值的數值范圍可以是:0~255;

可選地,與像素鄰近的各個像素可以是所述像素周邊的8個像素。

其中,將基于所述彩色圖確定出的第一區域項分割參數與基于所述深度圖確定出
的第二區域項分割參數進行融合,包括:

對任意一個像素,將所述第一區域項分割參數乘以權重(1-a)得到調整后的第一
區域項分割參數,將所述第二區域項分割參數乘以權重a得到調整后的第二區域項分割參
數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分割
參數相加的和作為融合后的區域項分割參數;

如果所述第一區域項分割參數指示的像素分類與所述第二區域項分割參數指示
的像素分類不相同,則將所述調整后的第一區域項分割參數與所述調整后的第二區域項分
割參數中數值較大者指示的像素分類作為所述像素的最終分類,將所述調整后的第一區域
項分割參數與所述調整后的第二區域項分割參數的差值的絕對值作為融合后的區域項分
割參數;

其中,將基于所述彩色圖確定出的第一邊界項分割參數與基于所述深度圖確定出
的第二邊界項分割參數進行融合,包括:

將所述第一邊界項分割參數乘以權重(1-a)得到調整后的第一邊界項分割參數,
將所述第二邊界項分割參數乘以權重a得到調整后的第二邊界項分割參數,然后將所述調
整后的第一邊界項分割參數與所述調整后的第二邊界項分割參數相加得到所述像素的融
合后的邊界項分割參數;a大于或等于0且小于或等于1;

其中,所述權重a根據自評價參數k1和一致性參數k2進行確定:將自評價參數k1和
一致性參數k2的積作為權重a;

其中,自評價參數k1采用以下方式進行確定:根據像素的深度值確定像素對應的
拍攝距離的遠近程度,根據所述拍攝距離的遠近程度設置自評價參數k1,所述拍攝距離越
近,自評價參數k1設置得越大;k1大于或等于0且小于或等于1;

其中,所述一致性參數k2采用以下方式進行確定:

如果所述第一邊界項分割參數與所述第二邊界項分割參數相等,則設置一致性參
數k2為第一常數;

如果所述第一邊界項分割參數與所述第二邊界項分割參數不相等,在所述第一邊
界項分割參數與所述第二邊界項分割參數同時大于閾值或同時小于閾值時,設置一致性參
數k2為第一常數;在所述第一邊界項分割參數與所述第二邊界項分割參數不同時大于閾值
或不同時小于閾值時,設置一致性參數k2為第二常數;所述第一常數大于所述第二常數;所
述第一常數大于0且小于或等于1,所述第二常數大于0且小于1;

步驟S507,構建無向圖,將所述掩模圖中的每一個像素的融合后的分割參數映射
到所述無向圖中,根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模
圖;

其中,無向圖如圖5-f所示,在所述無向圖的平面外設置兩個懸空點Q0和Q1,所述懸
空點Q0為虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖
上各個像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射
點與所述懸空點Q1之間建立連線;

對掩模圖中的任意一個像素Pi,將所述像素Pi的融合后的區域項分割參數作為所
述無向圖中映射點Pi'的權值,將所述像素Pi的融合后的邊界項分割參數作為所述無向圖中
映射點Pi'與懸空點Q0或Q1之間連線的權值。

根據最小割-最大流算法對所述無向圖進行處理,獲得精細分割后的掩模圖,包
括:

迭代執行以下C步驟和D步驟,在迭代運行達到收斂條件后停止迭代過程,將所述
前景點集合Q中的各個像素作為精細分割后的掩模圖中的前景點;

其中,C步驟和D步驟分別包括以下處理:

C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景
點的像素構成前景點集合Q;

D步驟:計算所述前景點集合Q的權值總和,所述權值總和是所述前景點集合Q中所
有前景點的權值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權值和;

其中,所述收斂條件是前景點集合Q的權值總和小于閾值且變化趨于穩定。

其中,精細分割后的掩模圖如圖5-g所示,包含涂抹軌跡且具有目標圖像(訂書機)
輪廓的不規則深色區域是標記區,所述標記區是精細分割后的掩模圖中的前景點區塊;原
始圖像上除去標記區(前景點區塊)的部分是掩模圖中的背景點區塊。精細分割后的掩模圖
與初始的掩模圖相比,前景點區塊與背景點區塊之間的邊界更加細致。

步驟S508,從所述彩色圖中分割出所述精細分割后的掩模圖中前景點對應的圖
像。

其中,根據精細分割后的掩模圖從所述原始的彩色圖中分割出目標對象,分割出
的“訂書機”圖像如圖5-h所示。

本應用示例的方法,通過將涂抹軌跡作為種子生長成標記區,將標記區中的所有
像素標記為前景點,能夠自動擴充圖像分割算法的輸入掩模圖中標記的前景點數目,通過
生成感興趣區域以替代整幅原始圖像能夠減少圖像分割算法標記的背景點數目,可減少圖
像分割算法為區分出前景點和背景點的迭代次數,顯著地減少圖像分割算法的運行時間。
另一方面,本應用示例的技術方案能夠基于深度圖和彩色圖分別計算各像素的分割參數并
進行參數融合,利用融合后的分割參數進行圖像分割,相較于相關技術中僅僅使用彩色圖
進行圖像分割,能夠改善圖像分割的效果。

需要說明的是,在本文中,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排
他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而
且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有
的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所
述要素的過程、方法、物品或者裝置中還存在另外的相同要素。

上述本發明實施例序號僅僅為了描述,不代表實施例的優劣。

通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到上述實施例方
法可借助軟件加必需的通用硬件平臺的方式來實現,當然也可以通過硬件,但很多情況下
前者是更佳的實施方式?;謖庋睦斫?,本發明的技術方案本質上或者說對現有技術做
出貢獻的部分可以以軟件產品的形式體現出來,所述計算機軟件產品存儲在一個存儲介質
(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服
務器,空調器,或者網絡設備等)執行本發明各個實施例所述的方法。

以上僅為本發明的優選實施例,并非因此限制本發明的專利范圍,凡是利用本發
明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的技
術領域,均同理包括在本發明的專利?;し段?。

關于本文
本文標題:一種實現交互式圖像分割的方法、裝置及終端.pdf
鏈接地址://www.vmyqew.com.cn/p-6086756.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 www.vmyqew.com.cn網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開