はじめに 大規模言語モデル （LLM）の性能評価を行う際に、「モデルAとモデルBのどちらの出力の方が望ましいか？」というペアワイズな評価を収集してモデルの性能を比較することが増えています。 その代表例はChatbot Arena (https://huggingface.co/spaces/…

以前別の記事でAutoPhraseによりコーパスからキーワード抽出を行う方法を紹介しました。 今回は以下の例のように、AutoPhraseによって用語（キーワード）位置にアノテーションがなされたテキストから用語が１単語となるよう分かち書きを行う方法について紹介…

概要 今回はテキストコーパスから用語を自動抽出する技術である、AutoPhraseを紹介したいと思います。 この技術の特徴は対象コーパスに対して人手アノテーションが不要であるという点です。 論文リンク： [1702.04457] Automated Phrase Mining from Massive…