ストリームデータからの弱ラベル情報を用いる異常・例外パターンマイニング

2018/4/1 - 2021/3/31

研究組織
鈴木英之進	研究代表者，教授	九州大学大学院システム情報科学研究院　情報学部門
安藤晋	研究分担者，准教授	東京理科大学経営学部ビジネスエコノミクス学科

研究概要：信号源が変化する動的データから，弱ラベル情報を付与して少数だが価値が高い異常・例外性を発見するための理論・手法を考案・構築・実装し，実験によって正確な異常検出が行なえることを確認した．この手法は，画像ストリームデータに対し，別の大規模領域データで訓練した深層ニューラルネットワークを用いてキャプション情報を弱ラベルとして付与し，単語埋め込み情報と顕著画像領域情報を用いて異常領域を発見する．人見守りロボットが撮影した実データに異常データを挿入して実験を行ったところ，提案手法は深層畳み込みニューラルネットワークで特徴を抽出する比較手法に関してAUCやF値などが高く，より正確な異常検出が行なえることを確認した．その他，トピックモデリングを用いる単語ストリームからの異常単語検出，深層再帰的ニューラルネットワークの学習に基づくビデオクリップへのキャプショニング，深層畳み込みニューラルネットワークの効果的再学習，深層敵対的学習を用いる異常画像検知，テキストタグを弱ラベルとするファッションデータからの深層畳み込みニューラルネットワークと距離学習を用いた特徴抽出などの発見理論・手法を考案・構築・実装し，それぞれ実験で性能を確認した．上記の理論と手法を基盤とし，異常顔検出と人見守りロボットという2種類の応用システムの構築にも取り組んだ．後者のプロトタイプシステムで取得した標準データは，基盤となる発見手法の評価実験で用いている．

主要成果：
1. Soichiro Oura, Tetsu Matsukawa, Einoshin Suzuki: "Multimodal Deep Neural Network with Image Sequence Features for Video Captioning", Proc. 2018 International Joint Conference on Neural Networks (IJCNN 2018), pp. 3296-3302, Rio de Janeiro, July 2018. DOI 10.1109/IJCNN.2018.8489668
2. Kaikai Zhao, Tetsu Matsukawa, Einoshin Suzuki: "Retraining: A Simple Way to Improve the Ensemble Accuracy of Deep Neural Networks for Image Classification", Proc. 24th International Conference on Pattern Recognition (ICPR 2018), pp. 860-867, Beijing, August 2018. DOI 10.1109/ICPR.2018.8545535
3. 本藤拳也，松川徹，鈴木英之進：弱教師つきデータ集合を用いるファッションスタイルの特徴学習に関する実験的評価，火の国情報シンポジウム2019，A2-4，熊本，2019年3月.
4. Kaikai Zhao, Tetsu Matsukawa, Einoshin Suzuki: "Experimental Validation for N-ary Error Correcting Output Codes for Ensemble Learning of Deep Neural Networks", Journal of Intelligent Information Systems, Vol. 52, No. 2, pp. 367-392, April 2019. DOI 10.1007/s10844-018-0516-5
5. Yusuke Ohtsubo, Tetsu Matsukawa, Einoshin Suzuki: "Harnessing GAN with Metric Learning for One-Shot Generation on a Fine-Grained Category", Proc. 31st International Conference on Tools with Artificial Intelligence (ICTAI 2019), pp. 891-898, Portland, November 2019. DOI 10.1109/ICTAI.2019.00126
6. Hirofumi Fujita, Tetsu Matsukawa, Einoshin Suzuki: "Detecting Outliers with One-Class Selective Transfer Machine", Knowledge and Information Systems, An International Journal, Vol. 62, No. 5, pp. 1781-1818, Springer. May, 2020. DOI 10.1007/s10115-019-01407-5
7. Yusuke Hatae, Qingpu Yang, Muhammad Fikko Fadjrimiratno, Yuanyuan Li, Tetsu Matsukawa, Einoshin Suzuki: "Detecting Anomalous Regions from an Image Based on Deep Captioning", Proc. Fifteenth International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2020), Vol. 5: VISAPP (Fifteenth International Conference on Computer Vision Theory and Applications) pp. 326-335, Valletta, Malta, February 2020. DOI 10.5220/0008949603260335 (Best Poster Award)
8. Wenbo Li, Tetsu Matsukawa, Hiroto Saigo, Einoshin Suzuki: "Context-Aware Latent Dirichlet Allocation for Topic Segmentation", Advances in Knowledge Discovery and Data Mining, Part I. Lecture Notes in Computer Science 12084, Springer (PAKDD 2020), pp. 475-486, Singapore, May 2020. DOI 10.1007/978-3-030-47426-3_37
9. Ning Dong, Yusuke Hatae, Muhammad Fikko Fadjrimiratno, Tetsu Matsukawa, and Einoshin Suzuki "Experimental Evaluation of GAN-Based One-Classs Anomaly Detection on Office Monitoring", Foundations of Intelligent Systems, LNAI 12117 (ISMIS 2020), Springer-Verlag, pp. 214-224, Graz, Austria, September 2020. DOI 10.1007/978-3-030-59491-6_20
10. Wenbo Li, Einoshin Suzuki: "Hybrid Context-Aware Word Sense Disambiguation in Topic Modeling based Document Representation", Proc. 2020 IEEE International Conference on Data Mining (ICDM 2020), pp. 332-341, Sorrento, Italy, November 2020. DOI 10.1109/ICDM50108.2020.00042
11. Shin Ando, Yusuke Hatae, Muhammad Fikko Fadjrimiratno, Qingpu Yang, Yuanyuan Li, Tetsu Matsukawa, Einoshin Suzuki: "Visually-Private Scene Classification with Agent-collected Weak-labels", Final Program and Book of Abstracts, Thirteenth International Conference on Agents and Artificial Intelligence (ICAART 2021), pp. 50-51, Online, February 2021.
12. Shin Ando, Yusuke Hatae, Muhammad Fikko Fadjrimiratno, Qingpu Yang, Yuanyuan Li, Tetsu Matsukawa, Einoshin Suzuki: "Adversarial Minority-Class Re-Sampling for Imbalanced Sequence Classification", Final Program and Book of Abstracts, Tenth International Conference on Pattern Recognition Applications and Methods (ICPRAM 2021), p. 41, Online, February 2021.
13. Muhammad Fikko Fadjrimiratno, Yusuke Hatae, Tetsu Matsukawa, Einoshin Suzuki: "Detecting Anomalies from Human Activities by an Autonomous Mobile Robot Based on "Fast and Slow" Thinking", Proc. Sixteenth International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2021), Vol. 5: VISAPP (Sixteenth International Conference on Computer Vision Theory and Applications) pp. 943-953, Vienna, February 2021. DOI 10.5220/001031350943095
14. 園田亮介，鈴木英之進：ハイブリッド推薦のためのニューラル協調フィルタリングと変分オートエンコーダの同時最適化，電子情報通信学会和文論文誌(D)，Vol. J104-D, No. 02, pp. 119-129, Feb. 2021. DOI 10.14923/transinfj.2020JDP7017
15. Wenbo Li, Tetsu Matsukawa, Hiroto Saigo, Einoshin Suzuki: "Topic Modeling for Sequential Documents Based on Hybrid Inter-Document Topic Dependency", Journal of Intelligent Information Systems, Vol. ?, No. ?, pp. ?-?. DOI 10.1007/s10844-020-00635-4 (accepted for publication)
16. Wenbo Li, Einoshin Suzuki: "Adaptive and Hybrid Context-Aware Fine-Grained Word Sense Disambiguation in Topic Modeling based Document Representation", Information Processing & Management, Vol. ?, No. ?, pp. ?-?. DOI ? (accepted for publication)