Andersen SAW, Park YS, Sørensen MS, Konge L. Reliable Assessment of Surgical Technical Skills Is Dependent on Context: An Exploration of Different Variables Using Generalizability Theory. Acad Med. 2020 Dec;95(12):1929-1936.
目的
外科手技に対する信頼性の高い評価は、コンピテンシーに基づいた医療トレーニングに不可欠である。判定の信頼性だけでなく，一貫性があり再現性のあるコンピテンシーの判定を行うために必要な観察の回数にも，いくつかの要因が影響している．本研究の目的は、大規模かつシミュレーションベースである外科手技評価のデータを解析することで、様々な条件が信頼性に及ぼす影響を一般化可能性理論を用いて検討することで、様々な条件の役割を探ることである。
方法
2012年から2018年に実施された大規模なシミュレーションベースの側頭骨外科トレーニング研究の評価データをプールし、1,723のパフォーマンスに対する3,574の評価を回収した。著者らは、unbalanced random-effects designを用いて一般化可能性の分析を行い、信頼性の予測における異なる変数の効果を調べるために決定研究（decision study)を行った。
結果
全体として、一般化係数>0.8を達成するためには5つの観察が必要であった。いくつかの変数が信頼性の予測に影響した：学習者の経験が増加するとより多くの観察が必要となった（医学生は5、研修医は7、経験豊富な外科医は8）．より複雑な死体解剖を用いると，バーチャルリアリティシミュレーションよりも必要とする観察回数は少なくなった（2対5）．シミュレーショングラフィックスの忠実度の向上は必要とされる観察の回数を7から4に減らした。 トレーニング構造（大規模実習か分散型実習か）とシミュレーター統合型の個人指導は信頼性にほとんど影響を与えなかった。最後に、学習曲線が最も急峻な初期の研修時期には、プラトー期と比較して、より多くの観察が必要であった（6対4)。
結論
外科手技の評価における信頼性は、よく報告されているほどには安定していないようである。トレーニングの状況や条件は信頼性に影響を与える。この研究から得られた知見は、医学教育者が他の文脈で特定のシミュレーションベースの評価を使用する際に注意を払うべきであることを強調している。
感想
G係数を用いて信頼性の高いスキル評価を行うための観察回数を決定する，というのはよくあるセッティングだが，外科手技においてその回数は様々な因子の影響を受けるということを示した論文．よく遭遇するセッティングについて，細かいところまで気を配って研究した折り目正しい論文，という印象．
