360°評価を用いて効果的なフィードバックを行うためには

 

この記事は，大学院の課題をもとに再構成したものです．

十分深めきれてはいませんが，新家庭医療専攻研修では360°評価が必須になったので，議論の足掛かりにはなるだろうと思い，投稿します．

（用語確認：360°評価は，英語ではMulti-source feedback (MSF)と書かれることが多いようです．）

まず，MSFの意義について確認します．

Millerのピラミッドとして有名ですが，学習者の評価は，"Knows" "Knows how" "Shows how" "Does"の各レベルで行われます．

そのうち，Doesを評価する方法として，Workplace Based Assessment（WPBA）があります．

WPBAにも様々な領域がありますが，誰が評価するか，という軸で大別すると，

学習者自身の評価（学習ログ，audit，Significant Event Analysisなど）

学習者と指導者による評価（ビデオでのフィードバック，Case-based Discussionなど）

そして，学習者でも指導者でもない人の評価

があります．

（RCGP International Training of Trainers Courseより引用）

そして，学習者でも指導者でもない人からの視点を得る方法として，患者視点のPatient satisfaction questionnnaireまたはPatient Experienceと，同僚・多職種視点のMSFがある，というわけです．

次に，MSFで何を評価するのかです．

何でもかんでもMSFで評価するのではありません．

例えば，医学的知識の確認や診断・治療の妥当性を，MSFで確認するのは不適当であり，そこは筆記試験であったり，Case-based discussionで評価するのが妥当です．

文献によれば，MSFで評価する内容は以下の通りです．

(J Grad Med Educ. 2017 Jun;9(3):367-368.)

MSFで評価項目を絞る，という発想は重要だと思います．

学習者も評価者も，何をしたらよいのかが明確になります．

例えば，日本プライマリ・ケア連合学会新家庭医療専門研修で使われるMSFの評価票は

「対人コミュニケーションスキル」と「リーダーシップ・マネジメントスキル」の

2項目に限定しています．

http://primary-care.or.jp/nintei_sk/evaluation.html

最後に，どのようにフィードバックを行うかです．

上述の学会の評価票では，多職種が記載した評価票そのものは学習者には開示されません．

指導医が評価票をもとに学習者と話し合うことで，フィードバックを行うシステムになっています．

MSFが有効に機能するための項目として以下が挙げられています．(J Grad Med Educ. 2017 Jun;9(3):367-368.)

① 有意義なフィードバックをするための質問項目の開発

②評価者の観察と判断が一致する行動の同定

③だれを評価者とするか

④評価者の訓練

また，学習者がMSFを通じて自分の行動を変えるようになるためには，信頼している評価者からMSFの目標と価値を説明されて，それを受け入れることが必要です．(J Contin Educ Health Prof. 2003; 23(1): 4–12.) 

また，2014年に発表されたシステマティックレビュー　(BMC Med Educ. 2014; 14: 76.)では，MSFによる変化が予期される項目はコミュニケーション（対同僚，対患者）と臨床能力の改善であり，それを促進する因子として，①フィードバックのフォーマット，②自由記載，③信頼のおける情報源が挙げられています．

やはり，評価票を直接学習者に見せるだけでは不適当であり，学習者の行動を良い方向に変えるよう指導者が注意深いフィードバックを行う必要があるといえます．

以上の議論より，適切なMSFのために必要なことを自分なりに考えてみました．

・評価者が教育されており，直接観察に基づいて教育的なコメントを行うことができる

・指導者が学習者にMSFの意義をしっかり説明している

・評価項目が学習者にとって納得のいくものである．学習者に項目策定に参画してもらうのがいいかもしれません

・フィードバックが学習者の行動変容につながるような仕組みになっている

Clinical Problem Solvingが出版されました

 

Journal of General and Family MedicineにClinical Problem Solvingが掲載されました．

https://onlinelibrary.wiley.com/doi/10.1002/jgf2.396

Why-not-doing-high-tech-test syndromeというタイトルです

「どうして検査やってない症候群」ですね．

high-tech medicineではなくて，high-touch medicineをしましょう

というメッセージを込めています．

実際の症例は本文をお読みください．無料で読めます．

CPSの出版はこれで2回目です．

前回はAll that glitters is not gold.というタイトルで，腹痛の原因がじつは腹腔内になかった，という内容でした．

https://onlinelibrary.wiley.com/doi/10.1002/jgf2.264

2本とも，獨協医大の志水教授にご指導いただきました．

1本目は私は症例部分とdiscussionの記載をメインに行ったのですが，今回はdiscussantの部分も含めてすべて元の文章を書くことができました．

discussantの文章を書くのが，自分の診療を振り返る視点でとても勉強になりました．論文執筆は臨床における自己学習の大きなツールであることを実感しました．

大学院に進学するとどうしても臨床経験が減るのですが，引き続き症例報告を書くことですこしでも臨床能力を維持していきたいです．

Journal Club: IPEを受け入れる地域病院で何がおきたのか（リアリストアプローチ）

この記事は研究室内で私が発表したJournal Clubの内容を基にしています．

Haruta J, Yamamoto Y. Realist approach to evaluating an interprofessional education program for medical students in clinical practice at a community hospital. Med Teach 2020;42(1):101-110. (PMID: 31595791)

【背景】

・IPEは学年を通じて継続的に行うことが望ましい．

・多職種協働の準備を行うためには，臨床現場で様々な場面に出会う（clinical encounter approach）ことが望ましい．

・大学病院での実施は困難で，プライマリケア領域の方が適している．

・臨床現場での複雑なIPEプログラムを評価する方法の確立は，IPEの普及に寄与すると考えられる．

・複雑な介入に対して，”What works, for whom and in what circumstances”を評価するRealist approachが推奨される．

【Realist approachとは】

・詳しくはリンク先の論文を読んでください．（日本プライマリ・ケア連合学会誌．「リアリストアプローチ：科学的方法論に基づいた複雑な介入や教育プログラムの評価」）

・どのようなコンテキストで，なにをすれば，どのようなメカニズムが機能するし，どのようなアウトカムが生じるかを探索・検証する方法で，この一連の組をCMO(Context-Mechanism-Outcome)と呼ぶ．

・データ収集→CMOを明示→一貫性と統合性を洗練→条件を限定して成り立つ中範囲理論を生成する，という流れです．意図するアウトカムのために環境を設定し，そのなかで学習者が何を学びどのような活動を行ったのかを評価することになります．

・以下の手順が提起されているようです．

　１．作業仮説・理論の生成

　２．CMOの構成要素についての仮説

　３．観察と検証（特定の方法に限定せず行う）

　４．理論の明示

【手法】

・著者らが開発したIPEプログラムで研究が行われた．

・学習目標は以下の3つ

　「他の職種の役割を理解する」

　「他の職種が期待する医師の役割を学ぶ」

　「チームの一員としての医師の役割を学ぶ」

・学習戦略：observation through shadowing

・評価：（形成的) 病院スタッフとファカルティメンバーによる観察

　　　　 （総括的）360°評価と最終日の振り返り

・対象者：5年生または6年生の58名．コース選択はランダムである．

〇作業仮説・理論の生成

・著者自身が多職種のシャドーイングを行い，さらにインタビューを施行した

→実習の準備過程において，多職種は以下の2つを獲得していたことがわかった．

　①Confident professional role

　②Readiness to teaching medical students

・これより以下の仮説を得た．

「医学生が地域の病院で多職種をシャドーイングすることで，自らの医師中心的な考え方を見直し，多職種協働の価値を認識するようになる．」

【結果】

・医学生のレポート，360°評価，フィールドノート→テーマ分析でCMOを抽出した

Context

(1) 医学生の大学病院での経験　

(2) 医学生の学習の特徴

(3) 多職種からの臨床上の支援

(4) 地域病院間の密接な専門家間の関係

(5) 多職種のユニークで包括的な役割/貢献

(6) 医学生が地域のニーズを学ぶのに役立つ地域の病院の学習環境

(7) 多職種が医学生に持つステレオタイプに関する自由な議論

教育介入

(1) 多職種のシャドーイング

(2) 多職種の役割に関するレポートの作成

(3) 振り返り

(4) 診療現場への参加

(5) 当直を含む臨床現場

(6) 地域の病院の外でのフィールドトレーニング

(7) 多職種が医学生に将来の医師とし抱く期待と，医師の役割に関する助言

想定されたメカニズム

(1) コンテキストの学習

(2) 自己管理型学習

(3) 正統的周辺参加

(4) 経験型学習

(5) 接触仮説

(6) 観察学習

(7) 社会構造の気づき

(8) 認知的共感のための学習プロセス

・これより以下の4つのCMOを得た．

1. 大学病院と地域病院との比較と、比較に基づく自己管理型学習

2. 医学生の学習特性と地域病院のコンテクストに基づく

    正統的周辺参加、経験的学習および接触仮説

3. 多職種間での観察学習と

    観察学習のコンテクストの理解を深める社会構造の認識

4. 医学生の認知的共感を高めるような、多職種との自由な議論の学習効果

・これらのCMOが機能したとき，医学生は多職種に親近感を持ち、多職種と協力する医師の役割に対する理解を深めた。また，医師中心の考えを見直し、専門家間協力の重要性を認識した。

業績集のページを作りました

 

いままでの業績のまとめが必要になったので，ブログでも公開いたします

学術誌はまだ活動報告や症例報告ばかりですが，大学院でしっかり研究論文を書けるようになりたいです．

商業誌はありがたいことにちょくちょく声をかけてもらえるようになりました．依頼お待ちしております．SDH，複雑困難事例，診断推論，医学教育などなど…

学会発表，ワークショップ／セッションは列挙するとかなりやっているんだなということが分かります．わりと論文化まで到達している印象です（これから論文化するものも含みます）．特に社会的バイタルサインについては，徐々に浸透してきている印象です．

たぶん漏れているのもあるのでしょうが，まあいいです．

論文執筆をつづけつつも，商業誌や翻訳の依頼，お待ちしております．

レターが掲載されました．

 

Journal of General and Family Medicineに，レターが載りました．

Caution about overdiagnosis of neck calcification

Crowned dens症候群や石灰沈着性頸長筋腱炎の診断フローチャートに対し，無症候性石灰化の可能性を考慮すべきという趣旨です．

歯突起の周りに石灰化があったとしても，髄膜炎などのcritical diseasesは簡単に除外してはいけません．

ご笑覧いただければ幸いです．

Journal Club：コンピテンシーが現場での評価項目に翻訳される際に，何が起こるのか

この記事は研究室内で私が発表したJournal Clubの内容を基にしています．

Tavares W, et al. Translating outcome frameworks to assessment programmes: Implications for validity. Med Teach. Med Educ. 2020 Jul 2. (online ahead of print) (PMID: 32614480)

〇背景

コンピテンシー基盤型医学教育(CBME)では，教育者が臨床能力の評価を構造化する方法が鍵となります．そりゃそうですよね．現場で行われる評価をどれだけ妥当性の高いものにするかが重要となるわけです．

なので，コンピテンシーのリストをアセスメントプランに「翻訳」する必要があります．ここで，どのような枠組みに従って「翻訳」するのがを明らかにしないと，評価の妥当性が損なわれる可能性があります．

このように，すでにある何かの実践を，アセスメントプランの策定など何か別のものに翻訳する過程を説明する理論として，Callonの翻訳理論があります．

「翻訳は単なる認知行為ではなく，社会的，政治的，実体的行為である」という考え方です．具体的には以下の4ステップからなります．

１．問題化problematization：現状の問題を投げかける

２．関心づけinteressment：問題を解決する意義を説く

３．取り込みenrolment：行動するよう促す

４．動員mobilization：別の部門へ応用する

ところで，CBMEや職場での評価(WBA)は，現場の状況や関心などの影響を受けます．

そこで，翻訳プロセスを理解し、説明できれば、効果的なCBMEと妥当な評価プログラムが前進するかもしれません．

この論文では，カナダの卒後教育において，アウトカムの枠組みが形成的／総括的評価計画に翻訳される際，その翻訳が何により構成されるかを調べています．理論的枠組として，Callonの翻訳論理とKaneの妥当性フレームワークを用いています．

〇方法

CBMEの実施が義務付けられた3大学の卒後教育関係者にIn-depth semi-structured interviewを行って，下の3つについて明らかにしようとしています．

１．評価プログラムの発展の描写と文脈化

（EPAがどのように使われているか，EPA以外はどうか）

２．翻訳プロセスの説明

（決定はどのようになされたか，計画や実装の過程でどのような変化が起こったのか）

３．評価計画の質と妥当性を保証するプログラム評価の説明

分析は，CallonとKaneの概念的枠組みに沿った直接内容分析で行われています．直接内容分析とは，理論や関連した研究知見に則って分析を開始する方法で，以下の仮定に基づいた分析が行われています．

「情報提供者は，形成的評価を行う目的で評価を構造化しているが、生成されたデータは総括的評価に関する決定においても使用される．この際には，データの生成と解釈の両方において，ある程度の妥当性がある証拠が義務付けられる」

参加者の登録→データ収集→分析→チームミーティング

という循環的かつ反復的なプロセスを継続し，その都度，サンプリングとインタビューを修正しています．これを（いわゆる）理論的飽和に達するまで継続しています．

〇結果

３つのテーマが得られました．

①「アウトカムの枠組みは，良質な評価のために必要だと位置づけられている一方で，構造が不完全ともみなされている」

・アウトカムがほぼ翻訳なしで評価として使われています

・評価者は評価プランを無批判に受け入れています

・アウトカムの枠組みが，妥当性に関係する「意図された構造」を持っていません．

・EPAだけではなく，従来の評価法（筆記試験，OSCE，360°評価）を放棄することに消極的です．

→要するに，「現場で評価する際のフレームワークは，必要だし大事だとは思っているけど，これじゃあいまいちだよね」とも思っている，ということです．

②「評価計画に対する影響と競合しながら交渉する」

・関係者は，意識的にも無意識的にも，自分のポジションを強くし他者のポジションを弱めるように動きます．

・CBMEを実装する際の意思決定は，妥当性と衝突を起こします．

・現場は圧力を感じています．

・技術的側面により評価計画が制限を受けます．

→要するに，「CBMEは聞こえは立派だけど，実際そうはいかないよね，だけど上からやれって言われているし仕方ないか，でも現場ではこちらのやり方でやらせてもらうからね」ということです．

③「妥当性を，がけっぷちであり，不明瞭で，偽りのものだと　位置づけている」

・翻訳過程と評価計画の策定のどちらにおいても妥当性が脅かされています．

　「いわれたことをしている」「参考になる先行事例がない」との発言が見られました．

・妥当性の議論より優先されるものが多いと考えられています．

・サロゲートに基づく評価がなされています

　「委員会の人たちが何度も確認していた（から大丈夫）」との発言がみられました．

→要するに，「自分の評価が妥当かって？，ふん，そんなのお偉いさんが妥当って言っているんだから妥当でしょう？そもそもこんなのやったことないし，どうしていいかわからないんだから言われたとおりにしているだけなんですけど！」ということです．

〇議論

CBMEでは，定められたコンピテンシーを評価する際に，現場で当初予測されていなかった評価基準となってしまうことがあります．

①アウトカムのフレームワークは優れた評価のために必要だが，構造が不完全です．

②いざ評価する際に，社会的，実用的な文脈による影響を受けます．

③妥当性はまじめに評価されません．また，妥当性評価の優先度が低いです．

〇limitation

カナダの3大学での調査であり，この論文の内容は環境に依存します．

また，CBMEが導入された初期の時点での研究である点にも注意です．

〇批判的吟味

研究参加者はプログラムディレクター～評価委員会のメンバーですが，もっと多様な参加者をリクルートすべきなのではと思いました（評価を受ける学習者や多職種など）．

また，それ自体批判されるものではないのですが，もともとの枠組みから逸脱するような発見が書かれていない点はちょっと物足りないです．

〇感想

この論文は私にとって非常に難解で，読み解くのに時間がかかりました．まだまだ学習が足りていません．

尿酸降下はtreat to targetが良いのか

いままで，高尿酸血症に対する治療は
Lancetの2016年のseminarの記載に基づいて行っていました．
（西伊豆病院のカンファレンスに，日本語での解説があります．）
つまり，尿酸降下薬の適応があれば，アロプリノールを順次増量して尿酸値を6以下にする，というものです．

6以下にする，という記述の根拠は，2012年のAmerican College of Rheumatologyの診療ガイドラインです．
そこで引用されているのが，2012年のRCTです．

Becker MA, Schumacher HR, Espinoza LR, Wells AF, MacDonald P, Lloyd E, Lademacher C. The urate-lowering efficacy and safety of febuxostat in the treatment of the hyperuricemia of gout: the CONFIRMS trial. Arthritis Res Ther. 2010;12(2):R63.

ただし，このRCTは，フェブキソスタット40mg，フェブキソスタット80mg，アロプリノール300mg(腎障害あれば200mg)の３群を比べて，尿酸値を6以下にできた割合がフェブキソスタット80mgで最も多く，有害事象に差はなかった，というものなので，これですなわち「尿酸値は6以下にせよ」が導き出せるわけではなさそうです．

ところで，2020年9月のCanadian Family Physicianに，Targeting uric acid levels in treating goutという記事が載っていて，
そこでは尿酸値6以下を達成するまでアロプリノールを増量するTreat to targetは利益がないというRCTが紹介されていました．

2017年に行われたRCTなので，Lancetのセミナーの後ですね．把握していませんでした．

Stamp LK, Chapman PT, Barclay ML, Horne A, Frampton C, Tan P, Drake J, Dalbeth N. A randomised controlled trial of the efficacy and safety of allopurinol dose escalation to achieve target serum urate in people with gout. Ann Rheum Dis. 2017 Sep;76(9):1522-1528.

たしかに，このRCTを読むと，確かにアロプリノールの用量を増やした群（尿酸値6以下を達成した割合が多い）でも通常用量群とくらべ痛風発作の回数も有害事象の割合もおおよそ同じです．

各種診療ガイドラインでは，やはり6以下にしなさいと主張するもの（ACR 2020年版）もあれば，treat to targetをしないことを推奨しているもの（ACP2017年版）もあります．

余談ですが，これでACRの痛風の診療ガイドラインが2020になっているところに気づきました．読み直すと，推奨がいろいろ変わっていたので，それはそれで勉強になりました．

2012年だと，尿酸降下薬の適応は①痛風結節がある②年2回以上の発作③CKD stage 2以上④腎結石の既往となっています．

これが2020年だと，

①痛風結節②痛風によるX線上の変化③年2回以上の発作で開始を強く推奨，

④年1回以上の発作⑤発作歴が1回でもあり，かつ（CKD stage３以上 or 尿酸値9以上 or 腎結石既往）で場合によって推奨としたうえで，

発作が1回あっただけor無症候性の高尿酸血症は薬剤治療を推奨しないと明記されています．

じゃあ，どうするんだ，という話ですが，

CFPの記事には，そもそも尿酸降下療法はアドヒアランスが1年後で50-87%と慢性疾患の中では最悪の部類なので，health care supportをしっかりしましょうねと書いてあります．

たしかに，その通りだと思います．

というわけで，アロプリノールを通常量使ってもなお痛風発作が出る場合には，まず生活指導や服薬アドヒアランスの向上を図ったうえで，それでも発作が出るようなら相談の上増量や他の薬剤の併用に進む，という流れでよさそうです．

結局，この議論を通じて私の診療が大きく変化することはありませんでしたが

4年前の知識はすでに古くなっているという現実を見る機会になりました．