AIに試験を「正確に」採点させる方法

2 August 2025

よく見かけるのが、ライティングサンプルをChatGPTやClaudeなどのAIツールにアップロードして評価を依頼し、採点が一貫していない、公平じゃないと不満を言う人たち。LLMの性質についてはこの投稿では触れませんが、

a.) より正確な結果を得るには、ツールに正しくプロンプトする必要がある

b.) 今のLLMは、試験対策を完全に依存するレベルにはない

このサンプルIELTS問題/回答を見てみましょう：

問題：学校では競争を教えるべきという人もいれば、協力を教えるべきという人もいる。両方の見解について議論し、自分の意見を述べなさい。

回答：今日、学校で子どもに競争と協力のどちらを教えるべきかという議論があります。どちらのアプローチにも利点があり、このエッセイで議論します...[この投稿で使用した完全な問題/回答はコメントにあります]

ツールに正しくプロンプトする

これをChatGPTにコピペしてIELTSバンドを聞くだけでは、ツールを正しくプロンプトできていません！ばらつきが大きく、おそらく膨らんだスコアが出ます。プロンプトはこんな感じにすべきです：

あなたは専門のIELTS審査員です。添付の採点基準を読んで、以下のIELTSライティングタスクを正確かつ公平に採点してください：

[ここに問題/回答を挿入]」

ばらつきが減り（シークレットモードで複数のチャットを開き、複数のLLMに同じプロンプトを与えてテストできます）、バンドのインフレも減ります。

なぜか？採点基準でプロンプトすることで、「バーチャル審査員」に回答内の特定の単語やフレーズを採点基準のガイドラインとマッチさせることを強制しています。これでより「正確な」結果が得られます。

LLMは審査員ではない

「正確」と常に引用符をつけるのはLLMの仕組みのせいです。これらは基本的に、以前見たものに基づく予測アルゴリズムです。本物の人間の審査員は、プロのトレーナーが採点基準にコンテキストを加える口頭、筆記、バーチャルのトレーニングを受けています。新しい問題/回答ペアをより簡単かつ一貫して採点できます。

審査員間でもばらつきはありますが、数十年のトレーニングプログラム開発のおかげで、専門審査員にレビューしてもらう方が試験当日の結果により近くなる可能性が高いです。

ある程度のレベルに達するまでは試験対策に1円も使わないことをおすすめします。PDF、無料のオンラインテスト、友達とのチャット、AIツールなどをまず使い尽くしましょう。でも無料リソースを使い切ったら、専門審査員でループを閉じる時です。lottalingo.comで見つけられます。

勉強頑張って！