この記事は,大学院の課題をもとに再構成したものです.
十分深めきれてはいませんが,新家庭医療専攻研修では360°評価が必須になったので,議論の足掛かりにはなるだろうと思い,投稿します.
(用語確認:360°評価は,英語ではMulti-source feedback (MSF)と書かれることが多いようです.)
まず,MSFの意義について確認します.
Millerのピラミッドとして有名ですが,学習者の評価は,"Knows" "Knows how" "Shows how" "Does"の各レベルで行われます.
そのうち,Doesを評価する方法として,Workplace Based Assessment(WPBA)があります.
WPBAにも様々な領域がありますが,誰が評価するか,という軸で大別すると,
学習者自身の評価(学習ログ,audit,Significant Event Analysisなど)
学習者と指導者による評価(ビデオでのフィードバック,Case-based Discussionなど)
そして,学習者でも指導者でもない人の評価
があります.
(RCGP International Training of Trainers Courseより引用)そして,学習者でも指導者でもない人からの視点を得る方法として,患者視点のPatient satisfaction questionnnaireまたはPatient Experienceと,同僚・多職種視点のMSFがある,というわけです.
次に,MSFで何を評価するのかです.
何でもかんでもMSFで評価するのではありません.
例えば,医学的知識の確認や診断・治療の妥当性を,MSFで確認するのは不適当であり,そこは筆記試験であったり,Case-based discussionで評価するのが妥当です.
文献によれば,MSFで評価する内容は以下の通りです.
(J Grad Med Educ. 2017 Jun;9(3):367-368.)
最後に,どのようにフィードバックを行うかです.
上述の学会の評価票では,多職種が記載した評価票そのものは学習者には開示されません.
指導医が評価票をもとに学習者と話し合うことで,フィードバックを行うシステムになっています.
MSFが有効に機能するための項目として以下が挙げられています.(J Grad Med Educ. 2017 Jun;9(3):367-368.)
① 有意義なフィードバックをするための質問項目の開発
②評価者の観察と判断が一致する行動の同定
③だれを評価者とするか
④評価者の訓練
また,学習者がMSFを通じて自分の行動を変えるようになるためには,信頼している評価者からMSFの目標と価値を説明されて,それを受け入れることが必要です.(J Contin Educ Health Prof. 2003; 23(1): 4–12.)
また,2014年に発表されたシステマティックレビュー (BMC Med Educ. 2014; 14: 76.)では,MSFによる変化が予期される項目はコミュニケーション(対同僚,対患者)と臨床能力の改善であり,それを促進する因子として,①フィードバックのフォーマット,②自由記載,③信頼のおける情報源が挙げられています.
やはり,評価票を直接学習者に見せるだけでは不適当であり,学習者の行動を良い方向に変えるよう指導者が注意深いフィードバックを行う必要があるといえます.
以上の議論より,適切なMSFのために必要なことを自分なりに考えてみました.
・評価者が教育されており,直接観察に基づいて教育的なコメントを行うことができる
・指導者が学習者にMSFの意義をしっかり説明している
・評価項目が学習者にとって納得のいくものである.学習者に項目策定に参画してもらうのがいいかもしれません
・フィードバックが学習者の行動変容につながるような仕組みになっている