近日，信息科學(xué)與工程學(xué)院張亮教授農(nóng)業(yè)智能學(xué)習(xí)與計(jì)算團(tuán)隊(duì)蘆旭博士在《IEEE Transactions on Multimedia》在線發(fā)表了題為“Multi-Facet Weighted Asymmetric Multi-Modal Hashing Based on Latent Semantic Distribution”的研究論文。

隨著互聯(lián)網(wǎng)的快速發(fā)展，大規(guī)模、高維的多模態(tài)數(shù)據(jù)已經(jīng)滲透到社交網(wǎng)絡(luò)和存儲(chǔ)媒體中，給多媒體數(shù)據(jù)檢索帶來了重大挑戰(zhàn)。在大多數(shù)多媒體檢索應(yīng)用中，提高檢索精度和減少存儲(chǔ)消耗是重要問題。目前，哈希技術(shù)因其對(duì)大規(guī)模數(shù)據(jù)檢索的支持而備受關(guān)注，其目標(biāo)是將高維特征空間中的原始數(shù)據(jù)映射到低維漢明空間中的緊湊哈希碼中，從而保留原始數(shù)據(jù)的語義相似性（或距離）。哈希技術(shù)采用漢明距離準(zhǔn)則，通過簡(jiǎn)單的異或運(yùn)算來估計(jì)實(shí)例之間的相似性，從而大大加快了計(jì)算速度，節(jié)省了存儲(chǔ)空間。

目前，多模態(tài)哈希算法因其能夠配置互補(bǔ)的多模態(tài)融合并支持快速的多媒體檢索而受到越來越多的關(guān)注。然而，現(xiàn)有方法中廣泛采用的“粗粒度”模態(tài)加權(quán)策略總是忽略了不同特征的獨(dú)特貢獻(xiàn)，并受到參數(shù)調(diào)整的困擾。此外，傳統(tǒng)的監(jiān)督方法通常采用“硬語義”來反映數(shù)據(jù)與標(biāo)簽之間的邏輯關(guān)系，但未能深入研究類別對(duì)數(shù)據(jù)的描述程度。針對(duì)這些問題，本文提出了一種基于潛在語義分布的多角度加權(quán)非對(duì)稱多模態(tài)哈希方法（FISMH）。該方法包含一個(gè)多角度加權(quán)多模態(tài)融合模塊，利用模態(tài)和特征權(quán)重來實(shí)現(xiàn)多模態(tài)融合；一個(gè)基于潛在語義分布的非對(duì)稱哈希學(xué)習(xí)模塊，利用成對(duì)相似性和語義分布來指導(dǎo)哈希學(xué)習(xí)，并通過非對(duì)稱形式避免了具有挑戰(zhàn)性的成對(duì)分解。語義分布是從特征空間的固有信息中學(xué)習(xí)的，可以進(jìn)一步保留類內(nèi)關(guān)系；利用離散哈希優(yōu)化來減少量化損失并直接學(xué)習(xí)哈希碼。大量實(shí)驗(yàn)表明，該方法優(yōu)于現(xiàn)有的有監(jiān)督和無監(jiān)督多模態(tài)哈希方法，展示了其卓越性能。

本文的合作者還有空天信息大學(xué)張化祥教授，山東師范大學(xué)劉麗教授，山東農(nóng)業(yè)大學(xué)牟少敏教授、寧立新博士。該研究得到了國(guó)家自然科學(xué)基金項(xiàng)目、山東省泰山學(xué)者項(xiàng)目、山東省自然科學(xué)基金重大基礎(chǔ)研究項(xiàng)目、山東省科技型中小企業(yè)創(chuàng)新能力提升項(xiàng)目的資助。

原文鏈接：https://ieeexplore.ieee.org/document/10428107

編      輯：萬    千 

審      核：賈    波