91一级特黄大片|婷婷中文字幕在线|av成人无码国产|日韩无码一二三区|久久不射强奸视频|九九九久久久精品|国产免费浮力限制

近日，團(tuán)隊(duì)2023級研究生陳泉霖、陸德華、馮偉森等在李景聰副教授、的悉心指導(dǎo)下，在中科院二區(qū)期刊《IEEE Transactions on Instrumentation and Measurement》成功錄用學(xué)術(shù)論文“HARFormer: A Masked Self-supervised Transformer-base Model for Human Activity Recognition with Predicting Somatosensory Tokens”。該論文自2025年3月提交，于2025年6月18日被正式接收。

人類活動識別是一種常見的任務(wù)，與物聯(lián)網(wǎng)緊密結(jié)合，傳統(tǒng)方法通過攝像頭、雷達(dá)或者3d骨架進(jìn)行獲取。隨著智能手機(jī)和手表等穿戴設(shè)備的普及，通過傳感器獲取的加速度和角速度來判斷人類活動是一個更輕便的選擇。這種數(shù)據(jù)可以很廉價地獲得，但標(biāo)注成本較高，這導(dǎo)致難以利用。為了更好的利用無標(biāo)簽數(shù)據(jù)，我們提出了一種自監(jiān)督框架。

該論文的主要亮點(diǎn)包括：

1. 統(tǒng)一信號處理機(jī)制：將多樣化的人類活動數(shù)據(jù)轉(zhuǎn)為統(tǒng)一的Patch表示進(jìn)行統(tǒng)一建模。
2. 自監(jiān)督預(yù)訓(xùn)練框架：提出了基于體感詞典的自監(jiān)督方法，通過預(yù)測token在體感詞典中的表示來學(xué)習(xí)到穩(wěn)健的特征。
3. 強(qiáng)大的性能：與baseline相比，我們的方法在多個數(shù)據(jù)集和多種設(shè)置下表現(xiàn)優(yōu)秀，尤其是在可用的標(biāo)記數(shù)據(jù)較少的情況下，我們的結(jié)果不是第一就是第二。

HARFormer的主要架構(gòu)以及自監(jiān)督預(yù)訓(xùn)練的實(shí)現(xiàn)方法：

1. 主要架構(gòu)

HARFormer由四部分組成：空間編碼器、時間編碼器、離散化切片與嵌入模塊以及Transformer全局建模器。

空間編碼器通過注意力機(jī)制為不同傳感器通道分配權(quán)重，時間編碼器使用深度卷積提取時間特征。

輸入的多通道時間序列被劃分為多個“感知補(bǔ)丁”，再通過位置嵌入加入時間和空間信息。

圖1 主要架構(gòu)圖

2.   自監(jiān)督預(yù)訓(xùn)練

首先，通過向量量化技術(shù)構(gòu)建“感知詞典”，通過vq-vae的方法將連續(xù)信號離散化為有限數(shù)量的“感知詞”，以獲得穩(wěn)健、緊湊的特征。重建任務(wù)在頻譜域中完成，以便忽略低級的信息，防止模型過于擬合低級細(xì)節(jié)，提高了對噪聲和個體差異的魯棒性。

然后，采用掩碼預(yù)測任務(wù)：在無監(jiān)督條件下遮蔽部分“token”，訓(xùn)練模型預(yù)測被遮蔽內(nèi)容，從而學(xué)習(xí)穩(wěn)健的表示。為了更好地利用每個樣本，我們采取對稱掩碼的方式，將每個樣本利用兩次。我們方法的偽代碼如下：

圖2 預(yù)訓(xùn)練架構(gòu)圖

我們在三個數(shù)據(jù)集上和多種baseline進(jìn)行對比，并提供了三種參數(shù)量的模型，結(jié)果表明我們的方法在少標(biāo)簽的環(huán)境下不是第一就是第二，這證明了我們方法的有效性

表1 在三個數(shù)據(jù)集上與baseline相比

結(jié)論

該方法提出了一個統(tǒng)一、高效的HAR建?？蚣堋Ｍㄟ^patch統(tǒng)一建模，使得我們的框架能適應(yīng)多種數(shù)據(jù)類型。我們通過預(yù)測重構(gòu)任務(wù)來學(xué)習(xí)穩(wěn)健的特征。我們的方法在少標(biāo)簽的場景下表現(xiàn)良好。我們期望該方法能推進(jìn)人類活動識別以及物聯(lián)網(wǎng)的發(fā)展。

撰稿人：陳泉霖

審稿人：李景聰