ProbSpace スパムメール判別 6th Place Solution

• https://prob.space/competitions/spam_mail

pre-process

• メール内の一番最初の改行コードを[SEP]に置換
  • メールのタイトルと本文をBERTに区別して入力
  • 文頭の"Subject: "は除去しなかった

modeling

• Stratified 5-Fold
• models
  • BERT
  • RoBERTa
  • Electra
  • 上記3つの出力の平均をとってアンサンブル
• 各層の[CLS]のhidden stateの重み付き平均を出力
  • 重みが合計1になるように制約をかけて，訓練可能なパラメータとした
  • Google QUEST Q&A Labeling 1st place より
    • https://www.kaggle.com/c/google-quest-challenge/discussion/129840
• 各層ごとにlearning rateを設定
  • 出力から遠い層ほど小さくなるように設定
  • How to Fine-Tune BERT for Text Classification? より
    • https://arxiv.org/abs/1905.05583
• multi-sample dropout
  • Multi-Sample Dropout for Accelerated Training and Better Generalization より
    • https://arxiv.org/abs/1905.09788
• cosine_schedul_with_warmup

post-process

• 出力結果が7838:17000になるように最適化
  • SIGNATE Sutudent Cup 2020 より
    • https://signate.jp/competitions/281/discussions/20200816040343-8180
• タイトル，本文ともにnullであるメール（'Subject: \r\n'）を0と予測

what did not work

• 本文中に多く登場した'enron', 'ect', 'hou'をtokenizerの辞書に追加
• XLNet
  • もっとしっかりチューニングをすれば効果的だったかもしれない

result

Public Score

• 5位

Private score

• 6位