この記事は研究室内で私が発表したJournal Clubの内容を基にしています．
Tavares W, et al. Translating outcome frameworks to assessment programmes: Implications for validity. Med Teach. Med Educ. 2020 Jul 2. (online ahead of print) (PMID: 32614480)
〇背景
コンピテンシー基盤型医学教育(CBME)では，教育者が臨床能力の評価を構造化する方法が鍵となります．そりゃそうですよね．現場で行われる評価をどれだけ妥当性の高いものにするかが重要となるわけです．
なので，コンピテンシーのリストをアセスメントプランに「翻訳」する必要があります．ここで，どのような枠組みに従って「翻訳」するのがを明らかにしないと，評価の妥当性が損なわれる可能性があります．
このように，すでにある何かの実践を，アセスメントプランの策定など何か別のものに翻訳する過程を説明する理論として，Callonの翻訳理論があります．
「翻訳は単なる認知行為ではなく，社会的，政治的，実体的行為である」という考え方です．具体的には以下の4ステップからなります．
１．問題化problematization：現状の問題を投げかける
２．関心づけinteressment：問題を解決する意義を説く
３．取り込みenrolment：行動するよう促す
４．動員mobilization：別の部門へ応用する
ところで，CBMEや職場での評価(WBA)は，現場の状況や関心などの影響を受けます．
そこで，翻訳プロセスを理解し、説明できれば、効果的なCBMEと妥当な評価プログラムが前進するかもしれません．
この論文では，カナダの卒後教育において，アウトカムの枠組みが形成的／総括的評価計画に翻訳される際，その翻訳が何により構成されるかを調べています．理論的枠組として，Callonの翻訳論理とKaneの妥当性フレームワークを用いています．
〇方法
CBMEの実施が義務付けられた3大学の卒後教育関係者にIn-depth semi-structured interviewを行って，下の3つについて明らかにしようとしています．
１．評価プログラムの発展の描写と文脈化
（EPAがどのように使われているか，EPA以外はどうか）
２．翻訳プロセスの説明
（決定はどのようになされたか，計画や実装の過程でどのような変化が起こったのか）
３．評価計画の質と妥当性を保証するプログラム評価の説明
分析は，CallonとKaneの概念的枠組みに沿った直接内容分析で行われています．直接内容分析とは，理論や関連した研究知見に則って分析を開始する方法で，以下の仮定に基づいた分析が行われています．
「情報提供者は，形成的評価を行う目的で評価を構造化しているが、生成されたデータは総括的評価に関する決定においても使用される．この際には，データの生成と解釈の両方において，ある程度の妥当性がある証拠が義務付けられる」
参加者の登録→データ収集→分析→チームミーティング
という循環的かつ反復的なプロセスを継続し，その都度，サンプリングとインタビューを修正しています．これを（いわゆる）理論的飽和に達するまで継続しています．
〇結果
３つのテーマが得られました．
①「アウトカムの枠組みは，良質な評価のために必要だと位置づけられている一方で，構造が不完全ともみなされている」
・アウトカムがほぼ翻訳なしで評価として使われています
・評価者は評価プランを無批判に受け入れています
・アウトカムの枠組みが，妥当性に関係する「意図された構造」を持っていません．
・EPAだけではなく，従来の評価法（筆記試験，OSCE，360°評価）を放棄することに消極的です．
→要するに，「現場で評価する際のフレームワークは，必要だし大事だとは思っているけど，これじゃあいまいちだよね」とも思っている，ということです．
②「評価計画に対する影響と競合しながら交渉する」
・関係者は，意識的にも無意識的にも，自分のポジションを強くし他者のポジションを弱めるように動きます．
・CBMEを実装する際の意思決定は，妥当性と衝突を起こします．
・現場は圧力を感じています．
・技術的側面により評価計画が制限を受けます．
→要するに，「CBMEは聞こえは立派だけど，実際そうはいかないよね，だけど上からやれって言われているし仕方ないか，でも現場ではこちらのやり方でやらせてもらうからね」ということです．
③「妥当性を，がけっぷちであり，不明瞭で，偽りのものだと 位置づけている」
・翻訳過程と評価計画の策定のどちらにおいても妥当性が脅かされています．
「いわれたことをしている」「参考になる先行事例がない」との発言が見られました．
・妥当性の議論より優先されるものが多いと考えられています．
・サロゲートに基づく評価がなされています
「委員会の人たちが何度も確認していた（から大丈夫）」との発言がみられました．
→要するに，「自分の評価が妥当かって？，ふん，そんなのお偉いさんが妥当って言っているんだから妥当でしょう？そもそもこんなのやったことないし，どうしていいかわからないんだから言われたとおりにしているだけなんですけど！」ということです．
〇議論
CBMEでは，定められたコンピテンシーを評価する際に，現場で当初予測されていなかった評価基準となってしまうことがあります．
①アウトカムのフレームワークは優れた評価のために必要だが，構造が不完全です．
②いざ評価する際に，社会的，実用的な文脈による影響を受けます．
③妥当性はまじめに評価されません．また，妥当性評価の優先度が低いです．
〇limitation
カナダの3大学での調査であり，この論文の内容は環境に依存します．
また，CBMEが導入された初期の時点での研究である点にも注意です．
〇批判的吟味
研究参加者はプログラムディレクター～評価委員会のメンバーですが，もっと多様な参加者をリクルートすべきなのではと思いました（評価を受ける学習者や多職種など）．
また，それ自体批判されるものではないのですが，もともとの枠組みから逸脱するような発見が書かれていない点はちょっと物足りないです．
〇感想
この論文は私にとって非常に難解で，読み解くのに時間がかかりました．まだまだ学習が足りていません．
