AI+ 評価設計ワークブック
実際の評価課題で「評価設計サイクル」を実際に使ってみましょう
ルーブリックの章に付箋を貼った。次のルーブリックも、前回と同じだった。
『AI+ Assessment Design』を読み、TRUSTによるチェックには納得し、ルーブリックの手法もすぐに使える状態でした。それでも、次に作ったテストは前回とまったく同じでした。本ワークブックは、そのギャップを埋めます。教室で教える方も、資格認定プログラムを運営する方も、実技の現場で評価する方も、実際に設計している評価をもとに取り組む、4週間・37の演習です。良い設問を書く難しさをすでに知る評価設計者のために、AIエンジニアリング企業がつくりました。それを確かな習慣に変えるための練習です。
- 4週間にわたる37の体系的な演習——分野を問わず、ご自身が現に設計している評価を題材に取り組みます
- 第1週 — 評価の姿勢と課題設計：AI Opportunity Matrix、評価設計サイクル、そして課題タイプのトレードオフ
- 第2週 — 診断的評価項目の作成：MCQ、ヒンジクエスチョン、そして誤答選択肢を修正する演習
- 第3週 — ルーブリックとフィードバック：記述子の品質チェックテスト、フィードバックのチェックテスト、そしてルーブリックを修正する演習
- 第4週 — 誠実性、包摂性、およびスケール：AI時代を見据えた再設計、アクセシブルな評価、そして実際に使えるアセスメントバンクの構築
評価を設計するすべての方々（テストや採点基準を作成する学校の先生、課題や試験を設計する大学の講師、知識確認や資格認定の評価を構築する企業のトレーナーやL&Dの専門家、実技評価やポートフォリオ評価を作成する職業訓練や継続教育の評価担当者など）のうち、『AI+ Assessment Design』（T3-17-JA）を読んだ、または読み進めている方で、どの分野で働いているかにかかわらず、評価設計サイクルを自身の実際の評価に適用するための、体系的で段階的な練習を求めている方。
その他の対象：T3-17-JAの体系的な読書プログラムと並行して本ワークブックを使う、CPD（継続的専門能力開発）やL&Dのコホートに参加している評価設計者。チームでの練習プログラムを運営する教科主任、評価責任者、プログラム責任者。分野横断のワークショップ教材として本ワークブックを活用する教員研修や職員能力開発の担当者。
- 実際の評価課題をAI Opportunity Matrixに位置づけ、評価が担う目的（学習のための評価・学習の評価・学習としての評価）を特定し、信頼性・真正性・AI時代の妥当性のトレードオフを踏まえて少なくとも3つの実際の評価の課題形式を選択できる。その際、提示された多肢選択問題（MCQ）の誤答選択肢がなぜ診断的でないかを正しく見抜き、各誤答選択肢が特定の誤解に対応するよう書き直せる。
- 実際の評価に向けて、多肢選択問題、ヒンジ質問、エッセイ課題文、シナリオ型の課題を作成し、使用前の品質ゲートとしてTRUSTフレームワークを適用できる。
- 観察可能で根拠に基づく記述子を備えた分析的・全体的・パフォーマンスのルーブリックを作成し（提示された形容詞ベースの記述子の組を根拠に基づく基準へ正しく書き直すことを含む）、フィードバックのチェックテスト、優先順位の一文、具体性のルールを実際の採点に適用したフィードバックを設計できる。
- 4つの再設計戦略のうち少なくとも1つを用いて実際の評価をAI時代の妥当性に合わせて再設計し、包括的な評価の再設計に構成概念とアクセスを区別するテストとAI Safety Checklistを適用し、実際の評価項目をタグ付けして構造化されたアセスメントバンクに整理できる。
- 第1週
- 評価の姿勢と課題設計
- 第2週
- 診断的評価項目の作成
- 第3週
- ルーブリックとフィードバック
- 第4週
- 誠実性、包摂性、およびスケール
- 巻末資料
- スキルサマリー・推奨書籍・用語集・ツールリファレンス
良い設問を作ることの難しさを知り尽くした評価設計者のために、AIエンジニアリング企業が開発した一冊——その技能を習慣へと変えるための実践です。