ホワイトペーパー
「教師データがない」からAIを諦めない
医療・ライフサイエンスのデータセット設計、最初の一歩
大学・病院の研究者と臨床部門、製薬・バイオ企業の研究・製造・品質部門等の技術責任者のための実務ガイド。画像・テキスト・時系列・表形式、データの種類を問わず使えます。
エグゼクティブサマリー
「AI(人工知能)をやれ」と言われて最初に突き当たるのは、モデルの選び方ではなく、教師データ(AIが学習するための、データと正解の組)がないという事実です。何件必要か分からない。「1万件」と言われて諦めた。誰がアノテーション(正解付け)をするのか。取得条件がバラバラで、集めたデータが使えない。注目したい事例が極端に少ない。画像でも、診療記録や報告書のテキストでも、センサーやバイタルの時系列でも、検査値の表でも、私たちに寄せられる相談のなかで最も多い入口の一つです。
本稿の主張は一つです。必要なのは大量のデータではなく、設計されたデータです。
件数は目的から逆算でき、取得条件は先に決めれば揃えやすく、正解は定義書と一致率で固められ、少数からでも立ち上げられます。そして、データが本当にないなら、取りに行く(これから発生するデータを設計する)選択肢があります。
データセット設計は6つの工程に分かれます。工程はデータの種類(モダリティ)によらず共通で、種類ごとに変わるのは工程3の「先に固定する項目」だけです。順番が、やり直しの回数を左右します。
問いを一つに絞る
決めること:入力・出力・使い手・使う判断/後戻りしにくい点:クラス定義の変更
「何件必要か」を逆算する
決めること:クラス別の評価用件数、学習曲線の計画/後戻りしにくい点:評価用データの流用
取得条件を先に固定するモダリティで変わる
決めること:機種・設定・記載様式・サンプリング・単位/後戻りしにくい点:原データと対応表の破棄
アノテーションを設計する
決めること:クラス定義書、一致率、2段階の体制/後戻りしにくい点:定義書なしの正解付け
少数データから立ち上げる
決めること:転移学習・能動学習・異常検出から始める順番/後戻りしにくい点:学習事例の評価への混入
施設間差と合成データの線引き
決めること:外部評価の確保、合成データの用途/後戻りしにくい点:合成データと実データの混在
- 工程1:問いを一つに絞る。何を入力に、何を出力し、その出力を誰がどう使うか。クラス(AIが出力する区分)を決める前に、使い道を決めます。
- 工程2:「何件必要か」を逆算する。学習用は学習曲線で、評価用は統計で見積もります。答えは「1万件」ではなく、目的ごとのレンジです。
- 工程3:取得条件を先に固定する。後から揃えにくい項目(機種・設定・記載様式・サンプリング・単位)を、1件目を取る前に決めます。
- 工程4:アノテーションを設計する。クラス定義書を書き、複数の評価者で一致率を測り、熟練者の時間を抑える2段階の体制を組みます。
- 工程5:少数データから立ち上げる。転移学習・能動学習・問題設定の絞り込みで、小さく始めます。
- 工程6:施設間差と合成データの線引き。自施設だけで評価しない。合成データは学習の補助にはなり得ても、評価には使わない。
本稿は一般的な情報提供であり、特定の製品の薬事該当性や必要なエビデンスを判断するものではありません。
なぜ「1万件」で止まるのか
教師データは、モデルより高くつく
医療・ライフサイエンスのAI開発で費用と時間がかかるのは、モデルの構築よりも、専門家による正解付けです。医療画像では、能動学習(Active Learning。モデルが学びたい事例を選んで優先的に正解を付ける手法)の研究が盛んな理由として、専門家による注釈コストが大きな制約であることが2021年の総説で整理されています [S7]。臨床テキストでも、診療記録から概念・関係を抽出する国際的な共通課題では、注釈ガイドラインの作成と注釈者間の一致の確認がデータ構築の中心作業でした [S14]。モデルは再学習できますが、医師や熟練技師の時間は簡単には増やせません。
「必要件数」は固定値ではない
「1万件」という数字は、一般物体認識の経験則が持ち込まれたものと考えられます。医療画像を対象に必要件数を系統的に調べた2015年の研究は、CT(コンピュータ断層撮影)画像を対象に、学習データを5・10・20・50・100・200枚と変えて学習し、6,000枚で評価することで、学習曲線(件数と性能の関係)から目標精度に必要な件数を予測する方法を示しました [S2]。件数は、タスクの難しさ・クラス数・求める精度で変わり、同じ方法で自分の課題について測ることができます。「何件必要か」は、調べる前に答えが出る問いではなく、小さく始めて測る問いです。
思い込み:固定値「1万件」
考え方:小さく始めて測る
規制当局が最初に見るのもデータ
米国食品医薬品局(FDA)、カナダ保健省(Health Canada)、英国医薬品・医療製品規制庁(MHRA)が2021年に共同で公表した「医療機器開発のためのGood Machine Learning Practice(GMLP、機械学習の優良実践)10原則」は、学習データと評価データを独立させること、データが意図する患者集団を代表していること、参照標準(正解の根拠)が受け入れられた最良の方法で作られていることを原則として挙げています [S1]。研究用であれ製品であれ、信頼されるAIの条件はデータの作り方から始まります。2025年1月には、国際医療機器規制当局フォーラム(IMDRF)が同原則を最終文書(IMDRF/AIML WG/N88 FINAL:2025)として採択しています [S16]。
日本でも、厚生労働省が2019年に公表した次世代医療機器評価指標のうち「人工知能技術を利用した医用画像診断支援システムに関する評価指標」が、テストデータを学習から切り離して管理すること、データの由来・取得条件・アノテーションを記録すること、必要なデータ数は一律には定められないことなどを示しています [S17]。評価指標は法的な基準ではなく、製品開発の際の参考事項をまとめたものです。対象は画像診断支援ですが、本稿の工程2・3・6の考え方の参考になります。個別製品に求められるエビデンスは製品ごとに異なり、開発段階で独立行政法人医薬品医療機器総合機構(PMDA)の相談制度(SaMD一元的相談窓口等)を利用して確認できます [S11]。
本稿で扱わないこと
モデルのアーキテクチャの選び方、倫理審査・同意・データの権利(別稿「臨床現場の『困った』を、製品にするまで」工程1で扱っています [S10])、薬事ルートの判断は扱いません。また、画像・テキスト・時系列・表形式それぞれに固有の技術的な細部(前処理、特徴量、モデル選択)は扱わず、種類を問わず共通する「教師データをどう設計するか」に絞ります。
問いを一つに絞る
何を入力に、何を出力し、その出力を誰が、どの判断に使うのか。この一文がないままデータを集めると、集めた後にクラスが変わり、正解付けをやり直すことになりがちです。
「できそうなこと」ではなく「決めたいこと」から
研究室では「このデータから何が分かるか」から発想しがちですが、データセット設計は逆向きです。現場で決めたいことを先に置き、それに必要な出力を定め、出力に必要なクラスを定めます。同じデータでも、問いが違えば正解の付け方は別物です。
- 画像「異常の有無を判定する」と「異常の種類を分ける」では、前者は画像単位の二値、後者は画像単位の多値や領域ごとのクラスラベルが正解になります。
- テキスト・記録「手術記録から術式を抽出する」と「記録の記載漏れを検出する」では、前者は用語の範囲指定、後者は文書単位の判定が正解になります。
- 時系列・信号「異常な変化点を検出する」と「次の値を予測する」では、前者は区間のラベル、後者は数値が正解になります。
- 表形式・検査値「再検査が必要な検体を選ぶ」と「値の推移を分類する」では、前者は行単位、後者は患者単位の正解になります。
クラスは少なく、境界は明確に
クラス数が増えるほど、クラスごとの必要件数と、評価者の判断のぶれが増えます。最初の問いは「AかBか」「正常か異常か」のように、2〜3クラスで答えられる形に絞ることを勧めます。後から細分化する方が、最初から細かく分けて集め直すより、一般に手戻りが小さく済みます。
「正解」は誰が決めるか
正解の種類は大きく3つあります。①培養・検査・転帰のような客観的な参照(データそのものを見ない基準)、②専門家の判読・判定、③複数専門家の合議。どれを正解にするかで、必要な体制も、後の評価の意味も変わります。GMLPが「参照標準は受け入れられた最良の方法で」と求めるのはこの点です [S1]。①が取れるなら優先し、②③を使うなら第5章の一致率の測定が必要になります。
①客観的な参照
培養・検査・転帰など、データそのものを見ない基準。
- 必要な体制
- 参照結果との紐付け
- 向く場面
- 取れるなら優先する
②専門家の判定
医師・技師など専門家による判読・判定。
- 必要な体制
- クラス定義書と一致率の測定
- 向く場面
- 客観的な参照が取れない課題
③複数専門家の合議
複数の専門家の判定を合議でまとめる。
- 必要な体制
- 評価者の確保と合議の手順
- 向く場面
- 判断が割れやすい課題
使い道とクラス定義を変えると、既に付けた正解の多くが使えなくなります。1件目の正解を付ける前に、この章の内容を1ページに書いて関係者で合意しておくことを勧めます。
「何件必要か」を逆算する
学習に何件、評価に何件必要か。答えは一つの数字ではなく、目的から導くレンジです。「件」は画像なら枚数、記録なら文書数、時系列なら区間数、表形式なら行数と読み替えてください。
評価用の件数は、統計で見積もる
評価用データの件数は、示したい性能の値と、許容する誤差幅から見積もることができます。感度(注目クラスを正しく判定する割合)を一定の幅で示すために必要な注目クラスの件数は、二項分布の正規近似で n = z²·p(1−p)/d² と見積もる方法があり、診断精度研究の症例数設計で用いられる考え方です [S3]。ここで p は見込む感度、d は許容する誤差幅(信頼区間の半幅)、z は信頼水準に対応する値(95%なら1.96)です。
| 見込む感度 p | 許容幅 d(±) | 必要な注目クラスの件数の目安 |
|---|---|---|
| 0.95 | 0.10 | 約19件 |
| 0.95 | 0.05 | 約73件 |
| 0.90 | 0.05 | 約139件 |
| 0.90 | 0.03 | 約385件 |
計算例(z=1.96、著者計算。正規近似のため、感度が1に近い場合や件数が少ない場合は精密法で補正が必要です)。特異度(注目クラス以外を正しく判定する割合)についても同じ式をそれ以外の件数に適用します。
この表が示すのは2点です。第一に、必要なのは「全体の件数」ではなく「クラス別の件数」であること。注目クラスが全体の1%しかない課題で73件を確保するには、無作為に集めると約7,300件が必要になりますが、注目クラスを重点的に集めれば必要件数を大幅に減らせます。第二に、誤差幅を半分にすると必要件数は4倍になること。「どこまで厳密に示す必要があるか」を先に決めることが、件数を決めます。
評価用に必要な注目クラスの件数の目安(z=1.96)
学習用の件数は、学習曲線で測る
学習用データは、評価用のように式では決まりません。代わりに、手元のデータの一部(たとえば10%・25%・50%・100%)で学習し、同じ評価用データで性能を測ると、学習曲線が描けます [S2]。曲線がまだ急に上がっていれば、同種のデータを足す価値があります。平らになっていれば、件数ではなく、データの種類(施設・条件・稀な事例)を足すべき段階と考えられます。小さなデータから学習曲線の形を予測する統計モデルも提案されています [S4]。
まだ上がっている
判断:同種のデータを足す価値がある。
平らになった
判断:件数ではなく、データの種類(施設・条件・稀な事例)を足す。
評価用データは、学習に使った時点で評価用ではなくなります。最初に評価用を切り出し、学習から隔離して保管してください。GMLPも、学習データと評価データの独立を原則の一つに置いています [S1]。
取得条件を先に固定する
機種・設定・記載様式・サンプリング・単位がバラバラのデータは、集めた後に揃えられるか。多くの項目は、後から揃えるのが難しい、あるいはできません。
AIは「本質」より「取得条件の差」を手がかりにし得る
3つの病院システムの胸部X線15万枚超で学習・評価した2018年の研究では、5つの比較のうち3つで、他院のデータに対する性能が自院の留保データより有意に低く、モデルが疾患の所見だけでなく、施設や装置に由来する交絡情報を手がかりにしている可能性が示されました [S5]。病理画像でも、染色の色の施設間差が畳み込みニューラルネットワーク(CNN)の性能を下げ、色の正規化とデータ拡張がその影響を緩和することが系統的に示されています [S6]。これは画像に限った話ではありません。2021年の総説は、臨床AIの性能を変えるデータセットシフトの要因を、技術の変化(機器・電子カルテ・記載方法の更新)、集団と環境の変化、行動の変化の3つに整理しています [S13]。取得条件の差は、どのモダリティでもモデルにとって「学びやすい偽の手がかり」になり得ます。
取得条件の早見表(モダリティ別)
工程1〜6のうち、データの種類で内容が変わるのはこの表です。
データの「履歴書」を残す
どの条件で、誰が、いつ、何のために取得したかを、データセット単位で文書化する習慣は、機械学習コミュニティで「Datasheets for Datasets」として提案され、広く参照されています [S9]。現場では取得した本人が覚えていても、半年後に別の人がモデルを作る時には残っていないことが少なくありません。1ページで構いません。
原データを捨てること、識別子の対応表を捨てること、機器や記載様式の自動設定・既定値のまま取り始めること。この3つは取り返しがつきにくい判断です。
アノテーションを設計する
誰が、どの基準で正解を付けるか。医師や熟練者の時間が取れない。外注すると品質が分からない。両方に対応する設計があります。
クラス定義書を書く
正解付けの品質は、評価者の腕だけでなく定義書に左右されます。定義書に最低限必要な項目は次のとおりです。
- 各クラスの定義(文章)と、典型例・境界例・除外例(画像なら画像、テキストなら文例、時系列なら波形例)
- 判断に迷ったときの優先規則(例:AともBとも取れる場合はA)
- 「判定不能」クラスの扱い(捨てるのか、残すのか)
- アノテーションの単位(全体か、領域・語句・区間か、個体・患者か)
- 改訂履歴(定義を変えたら、変える前に付けた正解を再確認する)
臨床テキストの共通課題では、概念・断定・関係の注釈ガイドラインを事前に整備し、複数の注釈者の一致を確認したうえでデータを公開しています [S14]。テキストでも、定義書と一致率が品質の土台です。
定義(文章)/典型例・境界例・除外例
例:AともBとも取れる場合はA
捨てる/残す(理由を記録)
全体/領域・語句・区間/個体・患者
変更日・変更内容・再確認した正解の範囲
一致率で基準を固める
定義書ができたら、同じ事例を複数の評価者に独立に判定してもらい、一致率を測ります。偶然の一致を補正した指標としてκ(カッパ)係数が広く使われ、0.61〜0.80を「substantial(かなりの一致)」、0.81以上を「almost perfect(ほぼ完全な一致)」とみなす目安が1977年に提案され、現在も参照されています [S12]。一致率が低いクラスは、モデルの問題である前に定義が曖昧である可能性が高い。定義書を直して測り直す。この往復を、本格的な正解付けの前に2〜3回行うことを勧めます。
一致率にはもう一つの役割があります。評価者の判定を正解とする場合、モデルの性能は、人間同士の一致率に制約されます。評価者間一致率は、モデルに求める性能の現実的な基準線になります。
熟練者の時間を抑える2段階アノテーション
熟練者が全事例を見る必要は、必ずしもありません。
- 一次ラベラー(技師・大学院生・訓練を受けた外注者)が定義書に従って全事例に正解を付ける。可能なら2名で独立に。
- 熟練者は、一次ラベラー間で不一致だった事例と、無作為に抽出した一定割合の一致事例だけを判定する。
これにより熟練者が見る事例は不一致分と抽出分に限られ、同時に一次ラベラーの品質(熟練者との一致率)が数字で分かります。外注する場合も、この「無作為抽出の監査」があれば品質を確認できます。
定義書なしで付けた正解は、誰がどう判断したか分からないため、後から一致率を測れません。定義書と評価者IDは、正解と同じ重要度で保存してください。
少数データから立ち上げる
手元に数十件しかない。それでも始められるか。始め方次第で、始められます。
転移学習:ゼロから学習させない
大規模なデータで事前学習されたモデル(画像なら画像モデル、テキストなら言語モデル)を出発点に、自分のデータで微調整する転移学習は、少数データで最初に試す価値のある方法です。転移学習において、学習曲線は同じ件数でもより高い位置から始まることが期待できます。
能動学習:次に正解を付ける事例を、モデルに選ばせる
全事例に正解を付けてから学習するのではなく、少数で学習したモデルに「判断に迷う事例」を選ばせ、それだけに正解を付けて学習し直す。この反復(能動学習)は、医療画像で注釈コストを下げる方法として研究が蓄積しています [S7]。熟練者の時間を、モデルが最も学びたい事例に集中させる考え方で、テキストや時系列にも同じ枠組みが使えます。
問題設定を絞って、まず出す
「分類」より「異常検出」の方が、少数データで立ち上げやすい傾向があります。正常な事例を中心に学習し、そこから外れるものを検出する方法は、注目クラスの事例が集まっていない段階でも試せます。画像の異常、記録の記載漏れ、センサーの異常な変化、検査値の外れ値は、いずれもこの形で始められます。まず異常検出で現場に置き、検出された事例に正解を付けながら注目クラスを蓄積し、分類に進む。注目クラスが少ない課題の、現実的な立ち上げ方の一つです。
不均衡データへの現実的な対処
珍しい事例ほど学ばせたいのに、学習できない。これに対して最も確実な対処は、アルゴリズムではなく収集です。注目クラスを重点的に集める(第3章)、過去の記録から該当事例を遡って探す、協力施設に該当事例だけを依頼する。アルゴリズム側の対処(クラスごとの重み付け、サンプリング、データ拡張)は補助であり、注目クラスそのものを増やす代わりにはなりにくいと考えています。
能動学習のループ
モデルが選ぶ
正解付け
少数で立ち上げたモデルの評価に、学習に使った事例を混ぜないこと。件数が少ないほどこの誘惑は強く、混ぜた結果は信用できなくなります。
施設間差と、合成データの線引き
自施設のデータだけでよいのか。生成AIで水増ししたデータは使ってよいのか。
自施設だけで評価しない
第4章の胸部X線の研究が示したとおり、自施設の留保データでの性能は、実際の性能を過大評価し得ます [S5]。時系列データでも同じ考え方が取られています。集中治療室の時系列データから敗血症の発症を早期に予測する2019年の国際共通課題では、複数の病院システムのデータを学習用として提供し、学習に使われていない病院のデータを評価に用いる設計が採用されました [S15]。最初から複数施設で集められない場合でも、少なくとも評価用データは別施設・別期間・別機器で確保することを目標にしてください。それが難しいなら、自施設の評価結果を「施設内での性能」と正確に呼び、外部性能を主張しないことです。
合成データの線引き
生成モデルによる合成データは、医療AIで希少例の補完やプライバシー保護の手段として期待される一方、生成モデルが学習データの偏りを増幅する、現実に存在しない事例を作る、評価に使うと性能を誤って高く見せる、といった懸念と政策上の課題が指摘されています [S8]。私たちが実務上の目安としている線引きは次のとおりです。
生成モデルによる合成データを学習に加える
補助的に使い得るが、合成の割合・生成条件を記録し、実データのみでの性能と比較して効果を示す。
合成データを評価に使う
使わない。評価は実データのみ。
合成データで注目クラスの不足を「解決」する
しない。注目クラスの不足は収集で解決する(第6章)。
論文で合成データの使用をどこまで認めるかは、分野と誌により異なります。製品として承認・認証を目指す場合に合成データがどう扱われるかは、製品ごとにPMDAの相談等で確認してください [S11]。
合成データを実データと区別せずにデータセットに混ぜること。後から分離できなくなり、そのデータセット全体が評価に使いにくくなります。
「データを自分で取りに行く」という選択肢
データは「集める」ものとは限らない
ここまでの工程は、現場で既に発生しているデータを前提にしてきました。しかし、これから発生するデータは設計できます。実験系(培養・細胞・材料)では、条件(種類・濃度・時間・取得条件)を計画的に振って取得すれば、第4章の取得条件は最初から満たしやすく、第5章の正解は実験条件そのものから決まり、第6章の注目クラス不足は実験計画で対処できます。診療記録や日報では、記載テンプレートを先に導入すれば、以後のデータは工程3を満たした状態で蓄積されます。センサーや装置ログでは、設置と設定を工程3に沿って決めてから記録を始めれば同じことが言えます。
既存データを「集める」
- 条件所与(後から揃えにくい)
- 注目クラス偶発的にしか集まらない
- 正解後付け
設計して「取得する」
- 条件先に設計する
- 注目クラス計画して集める
- 正解条件や様式から決まる
外部に取得を委ねるときの設計
自施設に設備・検体・人手がない場合、教師データの取得自体を外部に委ねる選択肢があります。その際に発注側が決めるべきことは、本稿の工程1〜4そのものです。使い道とクラス、必要件数のレンジ、取得条件、クラス定義書。これが書けていれば、外部で取得されたデータを自分のデータとして使えます。書けていなければ、どこで取得しても同じ問題が起きやすい。
順番を間違えると起きること ― 5つの失敗パターン
一般化して記述しています。実名・実案件ではありません。
- !件数先行。「とにかく1万件」を目標に集め始め、クラス定義が後から変わる。付けた正解の多くが無効になる。
- !取得条件の後回し。手元の機器や既存の様式で取り始め、途中で機器や電子カルテの版が変わる。モデルが条件の違いを手がかりにし、新しい環境で性能が出ない。
- !熟練者の全件判定。専門家に全事例の正解付けを依頼し、長期間終わらない。定義書がないため、途中で基準がずれていることに気づかない。
- !評価データの流用。件数が足りず、評価用を学習に回す。社内では高精度、現場では再現しない。
- !合成データで帳尻合わせ。注目クラスの不足を生成データで埋め、実データとの区別を残さない。論文でも製品でも、評価の妥当性を説明しにくくなる。
共通するのは、工程1〜3を1件目の前に決めなかったことです。
次の一歩
「AIをやれ」と言われたが教師データがない、何件必要か分からない、取り始めてよいか判断がつかない。そこで止まっているなら、1件目を取る前に一度お話しください。データの種類は問いません。研究計画の段階でも結構です。守秘が必要な内容は、NDA(秘密保持契約)を先に結びます。
お持ちいただきたいもの
決めたいことの一文(書けていなくても構いません)、手元のデータの概要(種類・件数・取得条件・正解の有無)、正解を付けられる人の有無と確保できる時間。
その後の流れ
データ設計・AI・(必要に応じて)薬事の担当が一緒に拝見し、本稿の工程1〜6のどこに課題があるかを整理したうえで、オンラインで打ち合わせます。データの設計取得やAI Studio(研究用途に限ります。診断・治療目的には使用できません)での立ち上げが適切であれば、その選択肢も含めてご提案します。進める価値があれば、書面で業務範囲とお見積りをお出しします。合意前に何かが始まることはありません。
カーブジェン株式会社について
カーブジェンは、プログラム医療機器(SaMD)の承認取得をはじめとする先進的な技術を通じて、ライフサイエンス分野における診断支援、研究の効率化、品質管理の標準化・自動化を推進しています。熟練技術者の不足や地域の格差といった社会課題の解決に取り組み、正確かつ迅速な結果を提供することで、医療や産業の現場を支援しています。
また、AI技術とデジタルプラットフォームを活用し、研究用途AI、自治体・産業DXまで、科学的根拠に基づく意思決定を支えるソリューションを提供しています。2025年1月に「Tokyo Social Innovation Tech Award 2024」において奨励賞を受賞、2026年2月にはインド政府主催「AI Impact Summit 2026 – 世界TOP10」に選出されたほか、2026年4月に第38回 中小企業優秀新技術・新製品賞ソフトウエア部門「優秀賞」を受賞、2026年6月に総務省「ICTスタートアップリーグ」に採択されるなど、国内外で数々のアワードを受賞。産官学との連携によるオープンイノベーションを通じて、未来の地域・医療・研究の共創にも力を注いでいます。
Website: https://carbgem.com/
出所
特記のない限り、確認日はすべて2026年10月21日。公的機関・規制当局・査読論文・当社の公式発表を一次情報として優先し、二次情報には「secondary」と付記しています。
- S1U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency (UK). "Good Machine Learning Practice for Medical Device Development: Guiding Principles." 2021年10月27日。https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles / FDA掲載PDF https://www.fda.gov/media/153486/download
- S2Cho J, Lee K, Shin E, Choy G, Do S. "How much data is needed to train a medical image deep learning system to achieve necessary high accuracy?" arXiv:1511.06348(2015年11月19日投稿、2016年1月7日改訂)。学習データ5〜200枚、評価6,000枚(CT)。https://arxiv.org/abs/1511.06348
- S3Buderer NMF. "Statistical methodology: I. Incorporating the prevalence of disease into the sample size calculation for sensitivity and specificity." Academic Emergency Medicine. 1996;3(9):895–900. doi:10.1111/j.1553-2712.1996.tb03538.x. https://doi.org/10.1111/j.1553-2712.1996.tb03538.x
- S4Figueroa RL, Zeng-Treitler Q, Kandula S, Ngo LH. "Predicting sample size required for classification performance." BMC Medical Informatics and Decision Making. 2012;12:8. doi:10.1186/1472-6947-12-8. https://doi.org/10.1186/1472-6947-12-8
- S5Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. "Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study." PLOS Medicine. 2018;15(11):e1002683. 2018年11月6日公開。doi:10.1371/journal.pmed.1002683. https://doi.org/10.1371/journal.pmed.1002683 / PMC: https://pmc.ncbi.nlm.nih.gov/articles/PMC6219764/
- S6Tellez D, Litjens G, Bándi P, et al. "Quantifying the effects of data augmentation and stain color normalization in convolutional neural networks for computational pathology." Medical Image Analysis. 2019;58:101544. doi:10.1016/j.media.2019.101544. https://doi.org/10.1016/j.media.2019.101544
- S7Budd S, Robinson EC, Kainz B. "A survey on active learning and human-in-the-loop deep learning for medical image analysis." Medical Image Analysis. 2021;71:102062. doi:10.1016/j.media.2021.102062. https://doi.org/10.1016/j.media.2021.102062 / arXiv版 https://arxiv.org/abs/1910.02923
- S8Chen RJ, Lu MY, Chen TY, Williamson DFK, Mahmood F. "Synthetic data in machine learning for medicine and healthcare." Nature Biomedical Engineering. 2021;5(6):493–497. doi:10.1038/s41551-021-00751-8. https://doi.org/10.1038/s41551-021-00751-8
- S9Gebru T, Morgenstern J, Vecchione B, et al. "Datasheets for Datasets." Communications of the ACM. 2021;64(12):86–92. doi:10.1145/3458723. https://doi.org/10.1145/3458723
- S10カーブジェン株式会社 ホワイトペーパー「臨床現場の『困った』を、製品にするまで ― 医療AIシーズを、論文の先へ進めるロードマップ」2026年10月(工程1「教師データをどう集めるか」)。https://carbgem.com/whitepaper/wp02_clinicalneeds_ja_final.html
- S11独立行政法人医薬品医療機器総合機構(PMDA)「プログラム医療機器」ページ ― 一元的相談窓口。https://www.pmda.go.jp/review-services/drug-reviews/about-reviews/devices/0048.html / プログラム医療機器の一元的相談窓口 https://www.pmda.go.jp/review-services/f2f-pre/strategies/0011.html(医療機器該当性に関する相談は厚生労働省医薬局監視指導・麻薬対策課が実施)
- S12Landis JR, Koch GG. "The measurement of observer agreement for categorical data." Biometrics. 1977;33(1):159–174. doi:10.2307/2529310. https://doi.org/10.2307/2529310(κの目安:0.61〜0.80 substantial、0.81〜1.00 almost perfect)
- S13Finlayson SG, Subbaswamy A, Singh K, et al. "The Clinician and Dataset Shift in Artificial Intelligence." New England Journal of Medicine. 2021;385(3):283–286. doi:10.1056/NEJMc2104626. https://doi.org/10.1056/NEJMc2104626(データセットシフトの3分類:技術・集団と環境・行動の変化)
- S14Uzuner Ö, South BR, Shen S, DuVall SL. "2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text." Journal of the American Medical Informatics Association. 2011;18(5):552–556. doi:10.1136/amiajnl-2011-000203. https://doi.org/10.1136/amiajnl-2011-000203(臨床テキストの注釈ガイドラインと注釈者間一致)
- S15Reyna MA, Josef CS, Jeter R, et al. "Early Prediction of Sepsis From Clinical Data: The PhysioNet/Computing in Cardiology Challenge 2019." Critical Care Medicine. 2020;48(2):210–217. doi:10.1097/CCM.0000000000004145. https://doi.org/10.1097/CCM.0000000000004145(複数病院システムの時系列データ、学習に使わない病院での評価)
- S16International Medical Device Regulators Forum (IMDRF). "Good machine learning practice for medical device development: Guiding principles." IMDRF/AIML WG/N88 FINAL:2025. 2025年1月。https://imdrf.org/sites/default/files/2025-02/IMDRF_AIML%20WG_GMLP_N88%20Final.pdf(2021年のFDA・Health Canada・MHRAの10原則を基にした最終文書。FDA「Good Machine Learning Practice for Medical Device Development: Guiding Principles」ページにも同旨の記載)
- S17厚生労働省医薬・生活衛生局医療機器審査管理課長通知「次世代医療機器評価指標の公表について」令和元年5月23日 薬生機審発0523第2号、別紙4「人工知能技術を利用した医用画像診断支援システムに関する評価指標」(参考として引用。評価指標は法的な基準ではなく、製品開発の際の参考事項)。https://dmd.nihs.go.jp/jisedai/tsuuchi/薬生機審発0523第2号.pdf
1件目を取る前のチェックリスト
| 工程 | 確認 |
|---|---|
| 1 問い | 入力・出力・使い手・使う判断を一文で書いた。クラスは2〜3で始める。正解の種類(参照/判定/合議)を決めた |
| 2 件数 | 示したい性能と許容幅からクラス別の評価用件数を出した。評価用を先に切り出し、学習から隔離した。学習曲線を描く計画がある |
| 3 取得条件 | 自分のモダリティの「先に固定・記録すること」を決めた。原データを残す。取得者・施設・日時をメタデータに残す。識別子の対応表を別管理する |
| 4 正解 | クラス定義書(定義・典型例・境界例・優先規則・判定不能)を書いた。複数評価者で一致率を測った。2段階アノテーションの体制がある |
| 5 立ち上げ | 転移学習から始める。能動学習で次の正解付けを選ぶ。異常検出→分類の順を検討した。注目クラスは収集で増やす |
| 6 一般化 | 評価用は別施設・別期間・別機器を目標にした。合成データは実データと区別して管理し、評価には使わない |
用語
| 用語 | 意味 |
|---|---|
| 教師データ | 入力(データ)と正解(ラベル)の組。AIが学習する材料 |
| モダリティ | データの種類。本稿では画像、テキスト・記録、時系列・信号、表形式・検査値の4つ |
| アノテーション | データに正解を付ける作業。ラベリングとも呼ぶ |
| クラス | AIが出力する区分(例:正常/異常)。注目クラスは、特に検出・分類したい区分 |
| 参照標準 | 正解の根拠となる基準。検査結果、転帰、専門家判定、合議など |
| κ(カッパ)係数 | 複数の評価者の判定の一致度を、偶然の一致を補正して表す指標 |
| 学習曲線 | 学習データの件数と性能の関係を描いた曲線 |
| 感度/特異度 | 注目クラスを正しく判定する割合/それ以外を正しく判定する割合 |
| 転移学習 | 事前学習済みモデルをベースに、自分のデータで微調整する方法 |
| 能動学習 | モデルが判断に迷う事例を選び、それに優先して正解を付ける反復法 |
| 異常検出 | 正常データから外れるものを検出する方法。注目クラスが少なくても試しやすい |
| データ拡張 | 現実に起こり得る変動を加えて学習データを増やす方法 |
| 合成データ | 生成モデルなどで人工的に作られたデータ |
| データセットシフト | 学習時と運用時でデータの分布が変わること。技術・集団と環境・行動の変化が原因になる |
| CNN | Convolutional Neural Network(畳み込みニューラルネットワーク)。画像AIで広く使われるモデル構造 |
| GMLP | Good Machine Learning Practice(機械学習の優良実践)。米英加の規制当局が示した医療機器向けの10原則 |
| IMDRF | International Medical Device Regulators Forum(国際医療機器規制当局フォーラム)。各国の医療機器規制当局による国際的な協議の場 |
| PMDA | 独立行政法人医薬品医療機器総合機構。審査と相談を担う |
| SaMD | Software as a Medical Device(プログラム医療機器) |
| research use only(研究用途) | 研究用途に限り、診療上の判断には使えないという位置づけ |
免責事項。本資料は一般的な情報提供であり、特定の製品に対する薬事・法務・保険上の助言ではありません。該当性・必要なエビデンス・承認・保険適用は、製品ごとに日本の当局が判断します。当社はプロセスを支援するものであり、結果を保証するものではありません。AI Studioのモデルは研究用途に限ります。本資料は申込みの誘引ではなく、業務範囲と費用は書面で合意します。
© 2026 CarbGeM Inc. CarbConnect® および BiTTE® はカーブジェン株式会社の登録商標です。