ペアワイズな評価を用いたLLM性能比較：Bradley-Terryモデルとモデルペア動的サンプリング

はじめに

大規模言語モデル（LLM）の性能評価を行う際に、「モデルAとモデルBのどちらの出力の方が望ましいか？」というペアワイズな評価を収集してモデルの性能を比較することが増えています。
その代表例はChatbot Arena (https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard)ですが、今回は彼らの取り組みを紹介する以下の論文[Chiang+24]を読んで、どのようにユーザーによってアノテーションされたペアワイズな評価結果からモデルごとのスコアが計算されているのかを勉強してみました。

arxiv.org

定式化

$M$ 個のモデルを比較する状況を考えます。今回はペアワイズな評価を行うので、全てのユニークなモデルペアの集合

$\mathcal{A}=\left\{ (m,m') : m \lt m' \text{ and } m,m'\in\{1,...,M\} \right\}$

を定義します。

評価プロセスが始まると、各時刻 $t$ ごとにユーザーに対してモデルペア $A_t\in \mathcal{A}$ が何らかの確率分布 $P_t(A_t)$ に従って選ばれ提示されます。

そして人間は提示されたペア $A_t=(A_{t1}, A_{t2})$ のモデルが生成した出力を比較し、どちらが良かったかのアノテーション $H_t \in \{0,1\}$ を付与します。 $A_{t2}$ の方が良かった場合は $H_t=1$ であり、 $A_{t1}$ の方が良かった場合は $H_t=0$ です。

モデルスコアの計算

Bradley-Terryモデル

モデル $m$ に対するスコア $\xi_m$ という概念を導入し、このスコアが高いモデルほどペアワイズな評価で勝利しやすいというモデル化を行います。

論文中で採用されているBradley-Terryモデル[Bradley+52]は、あるモデルペアが与えられたときに片方が勝利する確率、すなわちモデルペア $A=(A_1,A_2)$ に対して $H=1$ となる（ $A_2$ が勝つ）確率を以下のように定義します。

$\mathbb{P}(H=1)=\frac{1}{1+e^{\xi_{A_1}-\xi_{A_2}}}$

このモデルを実際の $H$ の分布に対してフィッティングすることで、パラメータであるスコア $\xi$ を推定できます。最小化する損失関数 $\mathcal{L}$ は以下の通りです。（ここでは、モデルペア $A$ に対しては $\mathcal{A}$ からの一様分布を仮定していることに注意してください。）

$\displaystyle \mathcal{L}(\xi) = \underset{ \substack{A\sim \text{Uniform}(\mathcal{A}) \\ H\sim \mathbb{P}(H|A)} }{\mathbb{E}} \left[ l\left(H, \frac{1}{1+e^{\xi_{A_1}-\xi_{A_2}}}\right) \right]$

ここで、 $l(h,p)$ は以下のクロスエントロピー損失です。

$l(h,p)=-(h\log p - (1-h)\log (1-p))$

実装

上の損失関数の最小化は、ロジスティック回帰の実装を利用することで簡単に実装することができます。

アノテーション結果 $\{ (A_t, H_t) \}_t$ が得られている時、 $(T\times M)$ の特徴量行列 $X_{tm}$ を作成し、 $X_{tA_{t2}}=1$ および $X_{tA_{t1}}=-1$ 、それ以外のモデル $m$ に対しては $X_{tm}=0$ とします。

この特徴量 $X_{tm}$ から $H_t$ を予測するロジスティック回帰モデルをバイアス無しの設定で学習すれば、パラメータとして所望の $\xi_m$ が得られます。

scikit-learnの実装を利用するなら、例えば以下のようになります。

from sklearn.linear_model import LogisticRegression

model = LogisticRegression(fit_intercept=False) # fit_intercept=False: バイアス無し
model.fit(X, H)

xi = model.coef_[0]

実際のサンプル分布への補正

実際にはモデルペアは時刻 $t$ ごとに異なる分布 $P_t(A_t)$ に従ってサンプルされます。この影響を補正するため、重点サンプリングと同様の考え方を使って（3行目）以下のように変形します。

$\displaystyle \begin{align} \mathcal{L}(\xi) &= \underset{ \substack{A\sim \text{Uniform}(\mathcal{A}) \\ H\sim \mathbb{P}(H|A)} }{\mathbb{E}} \left[ l\left(H, \frac{1}{1+e^{\xi_{A_1}-\xi_{A_2}}}\right) \right] \\ &=\frac{1}{T} \sum_{t=1}^{T} \underset{ \substack{A_t\sim \text{Uniform}(\mathcal{A}) \\ H_t\sim \mathbb{P}(H_t|A_t)} }{\mathbb{E}} \left[ l\left(H_t, \frac{1}{1+e^{\xi_{A_{t1}}-\xi_{A_{t2}}}}\right) \right] \\ &=\frac{1}{T} \sum_{t=1}^{T}\underset{ \substack{A_t\sim P_t(A_t) \\ H_t\sim \mathbb{P}(H_t|A_t)} }{\mathbb{E}} \left[ \frac{1}{|\mathcal{A}|P_t(A_t)} l\left(H_t, \frac{1}{1+e^{\xi_{A_{t1}}-\xi_{A_{t2}}}}\right) \right] \\ &= \frac{1}{T|\mathcal{A}|} \sum_{t=1}^{T}\underset{ \substack{A_t\sim P_t(A_t) \\ H_t\sim \mathbb{P}(H_t|A_t)} }{\mathbb{E}} \left[ \frac{1}{P_t(A_t)} l\left(H_t, \frac{1}{1+e^{\xi_{A_{t1}}-\xi_{A_{t2}}}}\right) \right] \end{align}$

以上の結果から、 $P_t(A_t)$ を用いてサンプルされたモデルペアに対するアノテーション集合 $\mathcal{D}=\{ (A_t, H_t) \}_t$ を用いて、論文中の式(7)に相当する以下の式に従って $\xi$ を推定すればよいことがわかります。

$\displaystyle \xi^* = \underset{\xi}{\text{argmin}}\sum_{(A_t, H_t)\in\mathcal{D}}\frac{1}{P_t(A_t)}l\left(H_t, \frac{1}{1+e^{\xi_{A_{t1}}-\xi_{A_{t2}}}}\right)$

スコアの信頼区間の推定

論文にはpivot bootstrapと"sandwich" robust standard errorsをそれぞれ用いて信頼区間の計算を行っていると書かれていました。Appendix Aによると、これらの手法で得られた信頼区間はどちらも同程度の品質であったようです。

これらの手法が具体的にどういった方法を指すのかは論文では割愛されていたので現在調査中ですが、pivot bootstrapは検索してもあまりはっきりとした定義がヒットしないなどやや難航中です。

そこで、ここではChatbot Arenaのチームが公開している以下のノートブック[Chatbot Arena 24]で実装されている信頼区間の計算方法を追ってみたいと思います。

信頼区間の計算方法はいくつか実装されていますが、モデルペアを一様にサンプルした状況を仮定した場合のbootstrap信頼区間の計算は以下の通りです[Chatbot Arena 24]。

※ここで、彼らは重点サンプルの重み $\frac{1}{P_t(A_t)}$ をかける代わりに、モデルペアごとに同じ数をサンプルすることで一様分布への補正を行っているようです。

def sample_battle_even(battles, n_per_battle):
    groups = battles.groupby(["model_a", "model_b"], as_index=False)
    resampled = (groups
                 .apply(lambda grp: grp.sample(n_per_battle, replace=True))
                 .reset_index(drop=True))
    return resampled

# Sampling Battles Evenly
def get_bootstrap_even_sample(battles, n_per_battle, func_compute_elo, num_round=BOOTSTRAP_ROUNDS):
    rows = []
    for n in tqdm(range(num_round), desc="sampling battles evenly"):
        resampled = sample_battle_even(battles, n_per_battle)
        rows.append(func_compute_elo(resampled))
    df = pd.DataFrame(rows)
    return df[df.median().sort_values(ascending=False).index]

シンプルにモデルペアごとに固定個（ノートブックでは50個）のアノテーションを復元サンプルし、得られたアノテーション集合を使ってモデルスコア（ここではEloスコア）を推定しています。この処理を指定回数（ノートブックでは100回）繰り返すと、モデルスコアの分布を得ることができます。ノートブックではこの分布の2.5%分位点から97.5%分位点までが信頼区間として図示されていました。

モデルペアの動的サンプリング

より効率的に人手評価のアノテーションを収集するため、モデルペアの分布 $P_t(A_t)$ は情報が不足しているようなモデルペアが優先してサンプルされるように設計します。以下では、論文で紹介されていたwin rateの推定のばらつきが小さくなるようにモデルペアをサンプルする方法を紹介します。

まず、あるモデルペア $a$ に関するwin rate（ $a_2$ が $a_1$ に勝つ確率） $\theta^*(a)$ について考えます。

$\displaystyle \begin{align} \theta^*(a)&=\underset{H_t\sim \mathbb{P}(H_t|A_t=a)}{\mathbb{E}}[H_t] \\ &= \underset{\substack{A_t\sim P_t(A_t) \\ H_t\sim \mathbb{P}(H_t|A_t)}}{\mathbb{E}} \left[ \frac{1}{P_t(A_t)}H_t \mathbb{1} [A_t=a] \right] \end{align}$

のように変換できるので、 $X_{ta}=\frac{1}{P_t(A_t)}H_t \mathbb{1} [A_t=a]$ のように定義すると、 $\hat{\theta}_a^{(T)}=\frac{1}{T}\sum_{t=1}^{T}X_{ta}$ は $\theta^*(a)$ の不偏推定量であることがわかります。

この $X_{ta}$ の共分散行列 $\hat\Sigma^{(T)}$ を以下のように求めます。

$\displaystyle \Sigma^{(T)}=\frac{1}{T}\sum_{t=1}^T(X_t-\hat\theta^{(T)})(X_t-\hat\theta^{(T)})^T$

この共分散行列を用いて、新しくアノテーションを増やすことでwin rateの推定のばらつきが小さくなるようなモデルペア $a$ を優先してサンプルする分布を $P_t(a)$ として利用します。

$P_t(a)\propto \sqrt{\frac{\hat\Sigma_{a,a}^{(T)}}{|\{t: A_t=a\}|}} - \sqrt{\frac{\hat\Sigma_{a,a}^{(T)}}{|\{t: A_t=a\}|+1}}$

その他

論文にはこのほかにもrankingの計算方法や、アノテーションの品質が悪い外れ値的なユーザーを検知する方法についても述べられていました。今回の記事では省略してしまいましたが、興味がある方は論文の方をご参照ください。

参考文献

[Bradley+52] Bradley, Ralph Allan, and Milton E. Terry. "Rank analysis of incomplete block designs: I. The method of paired comparisons." Biometrika 39.3/4 (1952): 324-345.
[Chatbot Arena 24] "Chatbot Arena: MLE Elo Rating (Bradley-Terry model) Calculation (March 13, 2024)." Google Colab, Accessed 17 Mar. 2024, https://colab.research.google.com/drive/1KdwokPjirkTmpO_P1WByFNFiqxWQquwH#scrollTo=mSizG3Pzglte.
[Chiang+24] Chiang, Wei-Lin, et al. "Chatbot arena: An open platform for evaluating LLMs by human preference." arXiv preprint arXiv:2403.04132 (2024).