関連スライド
各ページのテキスト
GRADE Guidance 34: update on rating imprecision using a minimally contextualized approach GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用し たグレーディングの不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 216-224 GRADE guidance 35: update on rating imprecision for assessing contextualized certainty of evidence and making decisions GRADE ガイダンス 35: 状況に応じた証拠の確実性を評価し、意 思決定を行うための評価の不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 225-242
GRADE Guidance 34: update on rating imprecision using a minimally contextualized approach GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用し たグレーディングの不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 216-224
2011年当時の、GRADEアプローチの「不精確さ」の評価 CIアプローチ： CIを決定閾値に、CIが閾値を超える場合はグレードダウンし、超 えない場合はダウンしない。 問題点：相対効果が大きく、サンプルサイズとイベント数が両方とも少ない場合、 CIが狭く見えても、結果は脆弱になる可能性がある。 OISアプローチ：最適情報量（OIS）に基づいて不精確さの評価をグレードダウン する。（OISの考慮とは、メタアナリシスにおける参加者数またはイベント数の合 計が、十分に検出力のある単一の試験に対する通常のサンプルサイズ計算で生成さ れる参加者数またはイベント数よりも多いかどうかを考慮することである。） 問題点：本来、ガイドライン開発者の決定の中心となるとしきい値の設定には、シ ステマティック レビュー担当者にとって実行不可能な可能性のある価値判断が含 まれている。 よって、システマティックレビューの場合は、OISアプローチが良いとされていた。
10年間のGRADEアプローチでの知見 1. システマティックレビューの著者が、可能な閾値に関 連する判断が対象読者にとって最も有用である場合、 不精確さを判断するためにOISアプローチではなく、 CIアプローチを使用する可能性が高い。 2. CIが関心のある閾値を明確に超える場合、システマ ティックレビューやガイドラインの著者は、不精確さ の評価を、1つでなく、2つまたは3つのレベル下げる ことが必要な場合があることがわかってきた。
コンテキスト化の分類と適応 1. 最小コンテキスト化（通常はシステマティックレビューで 使用される）：1つのアウトカムだけを考慮し、効果が実際 に存在することを確信する確度を評価するために、ヌルに 関するものか、最小限に重要な差（MID）に関するものか に関して、それぞれ評価を行います。 2. 部分コンテキスト化：1つのアウトカムに対して、効果が些 細な、小さな、中程度の、または大きな影響を表す範囲内 にあるという確信を評価します。 3. 完全コンテキスト化（通常はガイドラインで使用され る）：複数のアウトカムを同時に考慮し（つまり、介入の 望ましい影響と望ましくない影響をトレードオフする）、 介入を推奨するための決定的な閾値を設定し、その閾値以 上では介入を勧め、それ以下では介入を勧めないようにし ます。
現在GRADEアプローチでは、不精確さの評価において主要な基 準としてCIアプローチを使用し、SRとCPGの基準を整合させるこ とを提案している 最適なSRには、必然的にいくつかの価値判断が含まれることが わかり、その基盤となる閾値と不精確さの評価の概念は、臨床 家の聴衆にとって直感的であり、かつ、有用であることがわか りました。 閾値を設定する場合、SRの著者は、CPG開発者と同様に、関連 する価値判断をラベル付けし、最終的に判断が必要であること を認める必要があります。 明確さのために、以下の議論では、他の4つのGRADEの確実性 のドメイン（つまり、バイアスのリスク、非一貫性、非直接性、 出版バイアス）に関しては深刻な懸念がないものとしています。
過去 5 年間の GRADE の重要な進展によって、表の要約に結果 の平易な言葉による要約が含まれることが提案され、そのような 要約で使用する言語に関するガイダンスが作られた。 確実性の高いエビデンスが存在する場合、SRやCPG著者は、“effects present 「効果あり」 ”と要 約することができ、中程度の確実性のエビデンスが存在する場合、著者は “effects probably or likely present 「効果はおそらく存在する」 ”と結論づけることができ、低品質のエビデンスがある 場合、わかりやすく要約すると “effects possibly present 「効果が可能性として存在する」 ” とな る。エビデンスの確実性が非常に低い場合、著者は、” the evidence is very uncertain「エビデン スが非常に不確実」“であることを示す声明を出すことになる。 この平易な言葉で考えると、例えばCIに有害な効果が含まれる場合、不精確さを1段階だけ評価した とすると、平易な言葉で要約すると、「介入は「おそらく」重要な効果がある」となり、これに違 和感を持つかもしれない。 このような場合、不精確さを2段階ダウンした要約である、「効果が可能性として存在する」、また は3段階ダウンした要約である「介入の効果について証拠は非常に不確実である」の表現のが、より 適確な表現となる。 よって、2段階下げる場合を、明確に提示する必要がある。
不精確さを2段階下げる場合は？ ●点推定値が重要な効果を示唆する場合、最小重要差の閾値に関 する確実性を評価する 1. 点推定値は重要な利益を反映し、CI の境界は、害、特に重要な害の可能 性を含む。 2. 点推定値は重要な害を反映し、CIの境界は利益（特に重要な利益）の可能 性を含む（例は、重要な害の正確なしきい値を指定せずに、点推定値なら びにCIの上下限の値のみが、益か害かを判断する場合（現実的には、この 状況が多い））。
不精確さを2段階下げる場合は？ ●点推定値が些細な効果を示唆する場合、最小重要差閾値との関 連で確実性を評価する 1. 点推定値は些細な効果と一致し、CIは重要な有益性と重要な有害性の 両方の可能性を含む 2. 点推定値は些細な効果と一致し、CIは実質的な（おそらく大きな）重 要な害の可能性を含んでいる。 3. 点推定値は些細な効果と一致し、CIは実質的な（おそらく大きな）重 要な有益性の可能性を含んでいる。
不精確さを2段階下げる場合は？ ●閾値が不明だが、点推定値が明らかに、有益か害のどちらかである場合には、 95％CIの上下端の値が、不明だがたぶん閾値を越えているかどうかで確実性 を評価する 1. ゼロではない有益性の確実性を評価する場合、点推定値は有益性を示唆し、CIは重要な有害 性の可能性を含む こんな記載がある「点推定値は有益性を示唆しているが、 （CIが広いので）不精確さを1段 階のみ下げるならば、GRADE の平易な言葉を使用すると、標準用量レジメンと比較して、可 能であれば減量レジメンが死亡を減らすのに有益であるという「“likely”可能性が高い」とい う声明になるが、この言葉に満足するかどうかを検討する必要がある。95％CI上限より、減 量レジメンでは死亡率が大幅に増加する可能性もある。よって著者らが、もし“effects possibly present 「効果が可能性として存在する」 ” の言葉のが適切と判断したら、2段階下 げるだろう。」との記載があるが、これならば、言葉の選択で判断をするという文章になって しまう。 2. 害の確実性を評価する場合、点推定値は害を示唆し、CIは重要な益の可能性を含んでいる。
信頼区間が関心のある閾値を超えず、相対的な効果が大きい場合、 GRADE は最適な情報サイズが満たされているかどうかを検討す ることを提案します 以下の文章があることより、「CIが関心のある閾値と重な る場合、著者は不正確さを評価し、OISを考慮する必要は ないだろう。OISの計算は効果の相対的な推定値に基づい ているため、効果の絶対的な推定値に基づいて行われるCI アプローチと違うので注意が必要。」 基本は、CIアプローチを使用。95％CIが閾値をまたがな ければ、OISを使用するが、相対評価なので注意する事。
OISで2段階下げる場合 1. 二項対立のアウトカム：CIの上限と下限の比が、オッ ズ比では2.5以上、リスク比Rでは3以上である場合 （この場合ならばOISの計算は必要ない）。 2. 連続的なアウトカム：メタアナリシスの総サンプルサ イズがOISの30～50％より小さい場合。 著者がMIDやOISの計算に必要な標準偏差（SD）に自 信がない場合は、小さな効果を表す0.2SDの効果量を 使うことができる。これで計算すると、総サンプルサ イズは約800（1群あたり400）となる。よって、50％ を選択すると、全体で400、30％なら、全体で240と なる。
ベースラインリスクが非常に低い場合、不精確さのためにグレー ドダウンしないことが良いと考えられる ベースラインリスクが非常に小さい場合（ベースラインリスクがどの程度小さいかは、アウトカムの重要性に依存 する）、意思決定に用いられる効果の絶対推定値は、どれだけ新しいエビデンスが追加されたとしても、大きく変 わることはないだろう。したがって、ベースラインリスクが非常に小さい状況に直面した場合、著者は相対効果に 関する不正確さについてエビデンスの確実性を下げるのではなく、ベースラインリスクの全体的な確実性を評価す るべきである。 たとえば、A治療よりB治療のが、100人あたり6人多く異常を経験する患者が得られ、CIは1人多いから11人多い ことが示された、OR：2.48、95％CI 1.08～5.71; RR 2.34 、95％CI 1.06～5.17の場合（具体的な病名があっ たがはぶく）で、かつ、ベースラインリスクは1％が確実である場合を想定する。 有害性のMIDを15％増加（100人中15人増加）の場合は、RDの全CIはMIDの閾値よりも小さくなるであろう（1～ 11人のため）。CIアプローチでは、閾値Eをまたがないので、著者は不精確さを評価することはないだろう。 次に、OISを満たしているかどうかを確認する場合、ORのCI（5.3）の上限と下限の比が2.5より大きいので、不正 確さを2段階評価することになる。 しかし、対象集団のベースラインリスクが1％程度であると確信される場合、ORが2.5から4.5に増加しても、絶対 効果（すなわちRD）周りのCI全体は関心の閾値（15％の増加）の小さい側に収まることが、計算するとわかる。こ れらのシミュレーションは、ベースラインリスクが非常に小さい場合、相対効果がどれだけ変化しても、意思決定 に用いられる効果の絶対推定値が大きく変化することはない。 したがって、このような状況では、著者は不精確さを理由にエビデンスの確実性を評価しない方が良いと思われる。 ベースラインリスクがそれほど小さくない場合（例えば3％や5％）、ORの変更に伴い、点推定値やRD周りのCI境 界が顕著に変化するので、不精確さを理由に評価を下げるのが良いだろう。
不精確さを3段階下げる場合は、CIアプローチに基づく GRADEのガイダンスでは、確実性評価の対象をどのように選択するかについて、 CIが非常に広く（すなわち、CIの2つの端が非常に異なる推論を示唆する）、著者 が真の効果について非常に不確実であり、確実性評価の対象を決定する必要がない 状況の例をあげている。 このような状況では、不正確さを3段階下げることを評価することができる。この ような判断が可能な場合、CIをどの程度と判断することは、著者らの価値判断の 問題となる。 部分的および完全に文脈化された設定における精度評価を扱った関連論文では、不 精確さのために3段階評価を下げることに主眼を置いている。これは、最小コンテ キスト化にも適用できる。 Schünemann HJ, et. al.. GRADE guidance 35: update on rating imprecision for assessing contextualized certainty of evidence and making decisions. J Clin Epidemiol. 2022 Oct;150:225-242. ただし、GRADEのユーザーは、ランダム効果モデルを使用してメタアナリシスを 行う場合、不精確さと非一貫性を二重にカウントする可能性に注意する必要がある。
GRADE Guidance 34: update on rating imprecision using a minimally contextualized approach GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用し たグレーディングの不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 216-224 GRADE guidance 35: update on rating imprecision for assessing contextualized certainty of evidence and making decisions GRADE ガイダンス 35: 状況に応じた証拠の確実性を評価し、意 思決定を行うための評価の不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 225-242
部分コンテキスト化による不精確さの評価のステップ ステップ1. アウトカムを二値変数か連続変数かを明確化 ステップ 2. エビデンスBodyについて、アウトカムの絶対効果につい て、小さい効果、中程度の効果、大きい効果に対応する閾値を、望ま しいものと望ましくないものの両方について設定する（注：アウトカ ム、例えば死亡率は、減少すれば望ましいアウトカムであり、増加す れば望ましくないアウトカムである）。 閾値の決定は、他の意思決定者が既に設定している研究、関係者の合 意、絶対的な効果サイズとアウトカムの相対的な重要性を統合した閾 値に関する経験的な証拠、または何も利用できない場合はコンテンツ 専門家の最適な推測に従うしかない。いずれにしろ、閾値を設定する 方法を明示することが重要である。
部分コンテキスト化による不精確さの評価のステップ ステップ3．絶対効果の点推定値について、それらの閾値 との関係でエビデンスの確かさの評価を選択する。 つまり、効果が2つの閾値の間（すなわち、小さな望まし い効果と望ましくない効果の間、または小さな効果と中程 度の効果、中程度の効果と大きな効果の間）にあるか、大 きな効果のための閾値を超えるかを評価するか、効果が閾 値を超えるか下回るかの確実性を評価するかを決める。
部分コンテキスト化による不精確さの評価のステップ ステップ 4. 関心のあるアウトカムに対するbody of evidence に対して、ベースラインリスクと相対効果に基づく信頼区間を 含む絶対効果推定値、または、関係があるならば、研究間のリ スク差のメタ分析推定値、を計算する（例：研究におけるイベ ント数が非常に少ない場合）。 ステップ5．効果推定値が望ましい健康効果を示唆するか望ま しくない健康効果を示唆するかにかかわらず、信頼区間がいく つの閾値を越えるかを決定する（「 “no effect” 効果なし」を 閾値として数えない）。 ステップ6. 閾値が交差する数だけ、レートを下げる。
部分コンテキスト化による不精確さの評価のステップ 選択的ステップ 7. 効果が大きい（すなわち、点推定値が大きな効果の閾 値を超える）場合、および明らかに少数のイベントまたはサンプル数に基 づいている場合、 RISが満たされないためにさらなるレーティングダウンが必要かどうかを 判断するために、そのアウトカムについて、小さな効果、中程度の効果ま たは大きな効果の必要サンプルサイズを計算してreview information size （RIS）の使用を検討する（本論文の計算機を参照）。そうでない場 合は、ステップ 6 のレーティングを使用する。 効果が些細なものかないように見える場合（すなわち、点推定値が些細な ものかない効果から小さな望ましい効果、望ましくない効果の閾値に入 る）、例えば介入の同等性の評価のために、些細なものかない効果のRIS が満たされているかどうかをチェックし、さらなるレーティングダウンが 必要かどうかを決定する。そうでない場合は、ステップ 5 のレーティン グを使用する。←なぜステップ5？、5に注意した6では？
いろいろな例 緑：ダウンしない 青：1段階ダウン 紫：2段階ダウン 赤：3段階ダウン 黄：なぜか3段階ダウンのところに記載があった、ステップ5で「 “no effect” 効果なし」を閾値として数えないのだから、2段階では？
連続量について 連続的なアウトカムに対する小効果、中効果、大効果の経験的な推定値が利用できる場合は、 関連する閾値を定義するために使用する必要がある。最小重要差（MID）は、通常、小さな 効果の閾値を示す。 このような経験的な推定値がない場合、効果量を標準化し、標準化平均差（SMD）として表 現することを提案する。そうすれば、評価者は、小さな効果（SMD＝±0.2）、中程度の効果 （SMD＝±0.5）、大きな効果（SMD＝±0.8）の閾値の指針を使用できる。 この標準化は、メタアナリシスに含まれる研究が同じものを使用していたとしても、閾値を 設定する目的でのみ行うことができる。 SMDが-0.2～0.2の間に位置する、より普遍的な健康影響のない些細なカテゴリー以外では、 効果の大きさを決定する際に、結果の望ましさとSMDの符号を考慮しなければならない。し かし、絶対値で見ると、境界線は望ましさに関係なく同じで、小さな効果は0.2＜｜SMD｜ ≦0.5、中程度の効果は0.5＜｜SMD｜≦0.8、大きな効果は｜SMD｜＞0.8に対応することに なる。1つの閾値を超えたら1段階、2つの閾値を超えたら2段階、3つの閾値を超えたら3段階 のレーティングダウンを提案する。
OISとRISについて 以前のGRADEのアプローチでは、相対的リスク減少率とベースラインリスクを仮定して、グ レードダウンでのOISの使用が行われていました。たとえば、効果が小さい場合には、 （SMDが0.2に達するために）800人の参加者を含む二つの比較を行うことが一般的に最適情 報サイズを満たすことになります（400人ずつのグループ、以前のガイダンスでは200人と 誤って記載されていました）。 今回のGRADEのガイダンスでは、コンテキスト化アプローチを使用した場合の不精確さの評 価において、二値アウトカムと連続アウトカムの両方に対するRISの計算方法についても提示 しています（OISとは異なります）。 以降の文章・スライドは、論文の解釈に自信がありません！ RISは、大きな、中程度の、小さな効果の閾値に基づいて、それぞれ対応する絶対リスク減少 や増加に基づいて計算することができます。すなわちOISの計算は、1つの閾値（多くが MID）に焦点を当てるため、異なる健康効果のサイズに対する閾値を使用する場合は、その 直感に反するものになります。そのため、同様の数学的アプローチに基づく別の概念と用語 であるRISを使用しますが、その定義は価値のある、一つの効果に依存しないため、より適切 であると考えられます。
RIS：メタ分析の結果、絶対効果が大きい場合（すなわち、点推 定値が大きな効果の閾値を超える場合） 基本的な考えとして、review information size （RIS）は、95％信頼区間の下限がどの程度高い信頼性で得られるかに応じて、単一の研究 に必要なサンプルサイズと考える。OISは、点推定値そのものが単一研究で必要とされるサンプルサイズなので、RISは、 95％信頼区間の 下限なので、必要サンプルサイズはOISより少ない事になる。 そして、大きな閾値を超えて大きい場合、RISを用いると、大きな効果について過度に高い確実性で結論を出す可能性を減らすことができる。 すなわち、その95％信頼区間の下限が、大きな閾値に必要なRISより大きいなら、問題無いので、不精確さを下げない。しかし、大きな閾 値に必要なRISより小さく、かつ、中の閾値に必要なRISより大きいならば（当然、RISは、大きな閾値の数より少ない）、一段階下げる。 と言った感じを掴むと理解が進むのではないか？ 例えば、合計100人の参加者を含むランダム化試験のシステマティックレビューで、メタ分析では、そうなったが、一見するとあり得ないと 思われる大きな効果（例えば、絶対的な死亡率の減少またはリスク差が、比較群の 20％から介入群の10％になるなど）を示す場合を考えて みる。 RISを計算すると（計算用のスプレッドシートが用意されている）、大きな効果の閾値（9％）以上の精度を持つ場合は10,044、中程度の効 果（5％）以上の場合は1,116、小さな効果（MID）（2％）以上の場合は496となる。 そして、評価者は、実際のメタ分析でのサンプルサイズが本当に10,044より大きいか（評価を下げない）、10,044～1,116（評価を1段階 下げる）、1,116～496（評価を2段階下げる）、496以下（評価を3段階下げる）を確認することになる。すると、合計100人なので、496 人以下となり、不精確さが3段階下げることになる。 注意：サンプルサイズは、他の利用可能なガイダンスを使用して決定されるべき対照イベント率に依存する。 注意：3段階下げるので、明らかに効果がある事例に対して過度にダウンすることがある。そうなると考えられるときは（誰がそれを決め る？）、RISの計算の時に閾値間の間隔を修正するという方法がある。 オンライン計算機 https://www.gradepro.org/calc/reviewinformationsize。
RIS：些細な効果や小さな効果の場合 RISは、かなり大きな効果の不精確さが問題であるかどうかを判断する際に最も役立つが、SRでも利用できる。 まず、RISは、小さな効果、中程度の効果、大きな効果に対して任意のRIS閾値を設定することが必要である。RISの閾値は、間 接的な証拠（他のアウトカムから）から導き出すこともできるし、実際的には、小さな効果（MIDとなる）のRISに2.5と4を乗 じて、中程度と大きな効果の閾値を任意に導き出すこともできる（ここで2.5は、中程度を小さな効果量0.5/0.2で割ることで 導き出し、4は大きな効果をコーエンの効果量0.8/0.2で割ることで導き出せる）。 メタ分析による絶対値の推定値が、些細～全くないの間の場合、その絶対値が本当に些細なものであることが、おおよそわかっ ている場合を考える。そうなると、実際のサンプルサイズとRISを比較し、些細な効果が実際にはランダムエラーによるもので はないと、どの程度の確信を持って言えるかを考える必要がある。実際のサンプルサイズが、1つ、2つ、または3つの隣接する 閾値のRISよりも小さい場合、それぞれ1つ、2つ、または3つレベルを下げるべきである。 例えば、小さな効果（2%）を示すために10,044人、中程度の効果（5%）を示すために1,116人、大きな効果（9%）を示す ために496人の参加が必要な場合、評価者はレビューのサンプルサイズが、10,044より大きいか（評価ダウンしない）、 10,044～1,116（1段階評価ダウン）、1,116～496（2段階評価ダウン）、496以下（3段階評価ダウン）かを確認する。 しかし、、Fig. 6. の文章は、”The RIS derived sample sizes would be 10,044 for being above the large (9%), 1,116 for being above the moderate (5%), and 496 for being above a small effect (2%) threshold in each group.” と書いて あり、逆転している（問い合わせ中）。 このアプローチは、2つの介入が同等であることを確信を持って立証するのに役立つ。ここではガイダンスとして提供されてい るが、評価者は、例えば、他の間接的な証拠（上記参照）に基づいて効果が大きいか些細であると予想される場合、過度のペナ ルティを与えないように注意深く進めるべきである。
完全コンテキスト化 完全コンテキスト化アプローチを使用するには、まず部分コン テキスト化アプローチを使用してすべてのアウトカムを評価す る必要があります。 その後手順の概要が記載してあるが、これは、他のスライド・ 動画で解説する。 ポイントは、閾値がいらなくなること。完全コンテキスト化ア プローチでは、他のEtD決定基準（例：コスト）や、すべての アウトカム（価値観で重みづけする）に基づく望ましい効果と 望ましくない効果のバランスを考慮することで、プラスマイナ スでバランスを評価できる。
閾値の取得方法 GPT-4で翻訳 • 現在進行中の研究では、明示的な効用と絶対効果に基づいて経験的 な閾値を導出している。 • ガイドラインパネルを用いて事前に閾値を導出する方法もある。こ れには、検討される結果の重要性が含まれるべき。 • ガイドライン開発グループで閾値が導出される場合、注意深く検討 し、意思決定機関によって十分に理由付けされるべき。 • パネリストは、これらの決定の意味と影響を理解するために適切な トレーニングが必要。 • 閾値を非常に小さく設定することや密接に設定することは、精度が 低下する可能性が高まることを認識すべき。 • 閾値は、各結果の重要性を評価した後、証拠を評価する前に決定す ることを推奨。 • 新しい証拠が出てきた場合、閾値を更新する必要があり、結果の不 確実性の評価も更新する必要がある。
非一貫性inconsistencyとの関係 GPT-4で翻訳 いくつかのシナリオでは、確実性の評価は非一貫性と不精確さの両方によって影響 を受ける。 ランダム効果モデルを用いた高度に異質な研究のメタ分析では、固定効果モデルよ りも信頼区間が広くなることがある。 この場合、非一貫性と不精確さの両方に対して評価を下げる必要はなく、どちらに 対して評価を下げるか慎重に検討すべき。 例えば、局所性腎腫瘍の患者では、部分腎摘出術が全摘出術に比べてがん特異的死 亡率が低いことがメタ分析で示された。効果は研究間で異なる(I二乗 = 63%)。 ランダム効果推定量(HR 0.79; 95%CI, 0.57–1.11)は、精度が高い固定効果推定 量(HR 0.71; 95%CI, 0.59–0.85)と比較して不精確さありと判断された。 この場合、非一貫性の評価のみを下げて、不精確さの評価は下げないことを検討す ることがある。 一方、信頼区間が非常に広い研究をメタ分析すると、個々の研究のポイント推定値 が大きく異なり、非一貫性が存在することを示唆しても、異質性が統計的に評価さ れることはまれ。