【KDD2024】大數(shù)據(jù)基礎(chǔ)工程技術(shù)集群異常檢測論文入選

ACM SIGKDD（國際數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)大會(huì)，KDD） 會(huì)議始于 1989 年，是數(shù)據(jù)挖掘領(lǐng)域歷史最悠久、規(guī)模最大的國際頂級(jí)學(xué)術(shù)會(huì)議，被CCF（中國計(jì)算機(jī)學(xué)會(huì)）列為A類會(huì)議，KDD也是首個(gè)引入大數(shù)據(jù)、數(shù)據(jù)科學(xué)、預(yù)測分析、眾包等概念的會(huì)議。KDD2024將于8.25-8.29, 在西班牙巴塞羅那舉行。此次入選意味著阿里云提出的集群級(jí)別作業(yè)變慢異常檢測框架獲得了國際學(xué)者的認(rèn)可，也是一次產(chǎn)學(xué)研結(jié)合的成功實(shí)踐。

針對(duì)大規(guī)模云計(jì)算平臺(tái)集群作業(yè)運(yùn)行變慢的異常檢測問題，存在以下挑戰(zhàn)：

（1）從個(gè)體作業(yè)入手監(jiān)測集群是否存在顯著變慢問題，會(huì)受到虛擬環(huán)境不確定性對(duì)個(gè)體執(zhí)行速度的干擾，對(duì)個(gè)體進(jìn)行檢測、形成定性結(jié)論再集合到整體的方式無法準(zhǔn)確反映整體作業(yè)執(zhí)行狀況。

（2）對(duì)每個(gè)作業(yè)進(jìn)行監(jiān)測，與對(duì)整體分布進(jìn)行監(jiān)測相比，需要花費(fèi)更多計(jì)算存儲(chǔ)資源。

（3）訓(xùn)練數(shù)據(jù)中并不能總是保證所有數(shù)據(jù)都是正常的，往往也會(huì)夾雜無標(biāo)簽的異常數(shù)據(jù)，這與無監(jiān)督異常檢測的假設(shè)相悖。

論文首次從集群整體作業(yè)執(zhí)行情況分布入手，檢測集群整體作業(yè)分布變慢的問題。創(chuàng)造性地提出了撇脂注意力機(jī)制和picky loss function解決集群整體作業(yè)分布復(fù)合周期性及訓(xùn)練集污染的問題。并使用基于神經(jīng)網(wǎng)絡(luò)最優(yōu)運(yùn)輸模塊，定向檢測集群整體作業(yè)分布變慢的問題。論文從新的視角分析集群健康狀態(tài)，實(shí)現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)的集群作業(yè)整體變慢異常定向檢測，與SOTA異常檢測算法相比平均提升F1 score 5.3%。

目前對(duì)應(yīng)算法已經(jīng)在阿里云云原生大數(shù)據(jù)計(jì)算服務(wù)MaxCompute集群異常監(jiān)控場景中進(jìn)行灰度。可以有效地幫助運(yùn)維人員對(duì)集群運(yùn)行健康狀況進(jìn)行評(píng)估，提前發(fā)現(xiàn)可能的風(fēng)險(xiǎn)隱患。

論文信息

● 論文名字：Cluster-Wide Task Slowdown Detection in Cloud System

● 論文作者：Feiyi Chen, Yingying Zhang, Lunting Fan, Yuxuan Liang, Guansong Pang, Qingsong Wen, Shuiguang Deng

● 論文pdf鏈接：https://arxiv.org/abs/2408.04236

● 部分參考文獻(xiàn)：

【1】Su Y, Zhao Y, Niu C, et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network[C]//Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining. 2019: 2828-2837.

【2】Zhang C, Song D, Chen Y, et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data[C]//Proceedings of the AAAI conference on artificial intelligence. 2019, 33(01): 1409-1416.

【3】Xu J, Wu H, Wang J, et al. Anomaly transformer: Time series anomaly detection with association discrepancy[J]. arXiv preprint arXiv:2110.02642, 2021.

【4】Yang Y, Zhang C, Zhou T, et al. Dcdetector: Dual attention contrastive representation learning for time series anomaly detection[C]//Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023: 3033-3045.

【5】Tuli S, Casale G, Jennings N R. Tranad: Deep transformer networks for anomaly detection in multivariate time series data[J]. arXiv preprint arXiv:2201.07284, 2022.