2026년 10월, 유럽의약품청(EMA)이 의약품 제조 및 품질관리 기준(GMP)의 인공지능(AI) 부속서 Annex 22 작성을 위한 전문가 워크숍 보고서를 게시했고, AI 지침을 조율하는 그룹을 새로 꾸렸다고 밝혔습니다. 같은 달 제조 처방을 다루는 생성형 AI가 상용 제품으로 나왔고, 공정 예측·제형 최적화 AI 논문이 잇따랐습니다. 소식은 여럿이지만 질문은 하나로 모입니다. AI가 무엇을 할 수 있는가보다 AI가 틀렸을 때 무엇이 그 오류를 찾고 막는가입니다.
Oversight should be evidenced and periodically reviewed; it cannot compensate for inadequate validation.EMA, Annex 22 전문가 워크숍 보고서(EMA/156789/2026, 2026년 10월 2일 게시) — 주제 3 「Human Oversight & Accountability」 핵심 메시지
→ 사람의 감독은 기록으로 입증되고 주기적으로 검토돼야 하며, 부족한 밸리데이션을 메워 주지 못한다는 뜻입니다. "마지막에 사람이 승인하니 괜찮다"는 설명이 AI 도입 검토에서 가장 자주 나오는 답이라는 점에서, 이 문장이 이번 호의 출발점입니다.
한눈에 보는 2026년 10월
신호 1기술의 이름이 아니라, 통제전략으로 입증할 수 있는지를 묻기 시작했습니다
규제기관EMA, Annex 22 전문가 워크숍 보고서 (워크숍 2026년 6월 30일~7월 1일 · 보고서 2026년 10월 2일 게시)
2025년 초안의 문장
2025년 7월 의견수렴에 올린 Annex 22 초안은 생성형 AI·거대언어모델(LLM), 확률적 출력 모델, 동적 모델, 사용 중 성능이 바뀌는 모델에는 적용하지 않으며 "such models should not be used in critical GMP applications"라고 적었습니다. 보고서는 이 문장을 그대로 인용하며 시작합니다.
의견수렴 이후의 논의
의견수렴에서 LLM·생성형 AI 사용을 허용하자는 의견이 나왔고, 작성그룹은 이런 모델이 부속서 요구사항을 따르고 "a fully documented, robust, risk-based control strategy"를 갖춘다면 GMP 용도에 포함하는 방안을 논의했습니다. 산업계는 "기술 이름표만으로" 제외해서는 안 된다는 입장을 냈습니다.
남은 질문
규제기관은 환각(hallucination)·허위 생성 같은 현상이 보통의 통계적 불확실성인지를 물었습니다. 지속적으로 학습하는 시스템의 독립 검증은 "needs clarification"으로 남았고, 결론도 적절한 통제 아래 "viable pathways"가 있을 수 있다는 수준입니다. 최종 문안은 아닙니다.
i&CP 견해허용 범위가 넓어지는 쪽으로 논의가 움직여도, 입증 부담은 가벼워지지 않는다고 봅니다. "생성형이라서 안 된다"는 기준이 사라지면 그 자리를 채우는 것은 업무별 사용 목적, 위험평가, 통제전략, 독립 검증의 기록입니다. 지금 실사의 기준은 여전히 2011년판 Annex 11과 국내 GMP·데이터 완전성 기준이며, 워크숍 보고서는 방향을 읽는 참고 자료입니다.
신호 2사람이 마지막에 승인한다는 것이, 검증을 대신하지는 않습니다
산업계 발표제조 실행 시스템(MES) 공급업체의 제조 처방 생성형 AI (2026년 10월 22일 보도자료)
무엇을 하는가
복잡한 의약품 제조 처방(recipe)을 자연어로 디지털화·검색·수정하는 생성형 AI입니다. 회사는 응답마다 별도 알고리즘으로 점검하는 장치를 두었고 "Review and approval remain in human hands."라고 밝혔습니다.
회사가 밝힌 숫자
초기 시범사업에서 처방을 "around 30 percent faster" 디지털화하고 수작업 단계 비율을 "up to 40 percent" 줄였다고 합니다. 환각과 잘못된 답을 "virtually eliminate"한다는 표현도 있습니다. 모두 회사의 주장이며 독립적으로 검증된 GMP 밸리데이션 결과가 아닙니다.
규제기관 문서가 말하는 감독
같은 달 EMA 보고서는 사람의 감독이 "cannot compensate for inadequate validation"이라고 적었고, 감독은 기록으로 입증되고 주기적으로 검토돼야 한다고 했습니다. 검토자의 교육·자격·권한, 그리고 AI 결과에 이의를 제기할 수 있는 능력도 함께 들었습니다.
i&CP 견해AI가 처방을 쓸 수 있다는 것과 그 처방이 승인된 처방이 된다는 것은 다른 문제입니다. 사람의 승인이 통제가 되려면, 검토자가 원본과 AI 결과를 실제로 대조했다는 흔적이 기록에 남아야 합니다. 승인 버튼만 남는다면 그것은 감독이 아니라 서명입니다.
신호 3연구에서 맞힌 모델이, 우리 제조소에서도 맞힌다는 보장은 없습니다
학술 연구2026년 9~10월 게재 논문 3편 (PubMed 초록 기준)
검증 근거의 부족 — 리뷰
의약품 개발의 AI·기계학습(ML)을 정리한 리뷰(Holm 외, Eur J Pharm Sci, 2026년 10월 14일)는 발표된 연구 상당수가 "retrospective"이고 작거나 이질적인 데이터에 기반하며 외부 검증과 전향적 검증(새로 모은 자료로 미리 계획해 하는 검증)이 제한적이라고 지적했습니다.
공정 예측 대리모델
건식 과립 공정에서 리본 분할 → 과립 입도분포 → 정제 품질을 잇는 계층형 ML 대리모델 연구(Shahab 외, Int J Pharm, 2026년 9월 26일 온라인)는 두 가지 원료의약품(API) 제형에서 설계공간을 제시했습니다. 초록만으로는 다른 제조소·설비에서의 외부 검증 여부를 알 수 없습니다.
AI 제형 최적화
고처리량 실험과 베이지안 최적화를 결합한 연구(Tian·Tran 외, Nat Biotechnol, 2026년 9월 28일 온라인)는 6회 반복을 1개월 안에 마쳤고, 고체 메신저 RNA(mRNA)-지질나노입자(LNP) 제형이 37°C에서 2개월 넘게 보관한 뒤에도 생물활성을 유지했다고 보고했습니다. 개발 단계의 전임상 결과이며 제조 공정 밸리데이션과는 다른 단계입니다.
i&CP 견해EMA 워크숍의 한 발표자는 불확실성과 모델 드리프트(drift)가 GMP에서 개념적으로 새롭지 않다고 했습니다 — 측정 장비도 표류하고, 교정 주기는 위험에 따라 조정됩니다. 그렇다면 AI 모델도 같은 질문을 받아야 합니다. 얼마나 잘 맞히는가와 함께 언제 그 예측을 믿으면 안 되는가, 그리고 그것을 무엇으로 알아차리는가입니다.
지금 적용되는 것과 아직 초안인 것
2026년 10월 24일 기준 — 효력과 대상을 먼저 구분합니다
| 문서 | 현재 상태 | 읽는 법 |
|---|---|---|
| EU GMP Annex 11컴퓨터화 시스템 | 현행 2011년 1월판. 개정안은 2025년 7월 7일~10월 7일 의견수렴 마감, 최종본 미게시 | 지금 실사 기준은 2011년판. 개정안은 방향 참고 |
| EU GMP Annex 22인공지능(신설안) | 같은 기간 의견수렴 마감, 최종본 미게시. 2026년 10월 2일 워크숍 보고서(EMA/156789/2026) 게시 | 효력 없음. 보고서는 작성 논의의 기록 |
| HMA-EMA AI 조정그룹EMA/227688/2026 | 2026년 10월 5일 회의에서 소개. 임상개발 AI 지침은 개념서 마무리 후 공개의견수렴 예정, 의약품 전 주기 ML 원칙 지침 작업 중 | 지침을 쓰거나 승인하지 않는 조정 기구 |
| 미국 식품의약국(FDA) AI 규제 의사결정 지원 지침초안 · 2025년 1월 | "Not for implementation" 초안(Docket FDA-2024-D-4689) | 의약품 안전성·유효성·품질 규제 판단을 뒷받침하는 AI 정보가 대상. 제조소 AI 전반의 기준이 아님 |
| FDA 컴퓨터 소프트웨어 보증(CSA)최종 · 2025년 9월 | 2025년 9월 24일 최종 발행, 2026년 2월 개정판(제목에 Quality Management System 반영) | 의료기기 생산·품질시스템(미국 연방규정집 21 CFR Part 820) 소프트웨어 대상. 의약품 GMP 지침이 아니며 위험기반 보증의 사고방식만 참고 |
| PIC/S PI 006-42026년 10월 1일 시행 | 적격성평가·밸리데이션 권고. PI 006-3을 갱신하고 이름을 바꿈 | 컴퓨터화 시스템은 Annex 11로. AI 밸리데이션 규정이 아님 (Vol.03 참고) |
i&CP 견해교육자료와 사내 보고서에서 가장 자주 생기는 오류는 초안을 시행 중인 의무처럼, 의료기기 지침을 의약품 지침처럼 소개하는 것입니다. 표의 가운데 열을 먼저 확인하고 인용하기를 권합니다.
토론 사례 — AI가 쓴 일탈 원인분석
교육용 가상 상황
바이오의약품 제조소의 배양 공정에서 pH가 관리 범위를 벗어났습니다. 담당자가 과거 일탈 기록, 배치 기록, 설비 점검 기록을 생성형 AI에 넣고 원인분석과 시정 및 예방조치(CAPA) 초안을 요청했습니다. AI는 "pH 센서 이상"을 원인으로, "센서 교체"를 CAPA로 제안했습니다. 그런데 제공된 기록에는 센서 이상의 확정 근거가 없고, 배양액 조성 변화는 조사되지 않았습니다.
- AI가 과거 유사 일탈을 인용했다는 사실만으로 이 원인분석을 믿을 수 있습니까?
- AI가 근거로 든 내용이 실제 기록에 있는지 누가, 무엇으로 확인합니까?
- 분야 전문가(SME)가 검토하고 품질보증(QA)이 승인했다면 AI 쪽 밸리데이션은 생략해도 됩니까?
- 모델 버전이 바뀌면 어디까지 다시 확인해야 합니까?
- AI가 근거를 대지 못하거나 확신이 낮을 때 어떤 절차로 넘깁니까?
현장 점검 5문항
AI 시스템 사전 점검표 20항목
i&CP 견해EMA 워크숍 보고서의 주제와 기존 GMP·품질위험관리(QRM) 원칙을 바탕으로 아이앤씨피가 정리한 사전 점검표입니다. 규제기관이 정한 공식 체크리스트가 아닙니다. 항목 수를 합산하기보다, 환자 안전·제품 품질과 이어지는 "아니오"부터 봅니다.
| 번호 | 영역 | 확인 질문 | 근거 자료 |
|---|---|---|---|
| 01 | 사용 목적 | AI의 사용 목적과 허용 범위가 정의돼 있는가 | 사용자 요구사항 규격서(URS) |
| 02 | 영향평가 | GMP·제품 품질 영향이 평가됐는가 | 시스템 영향평가 |
| 03 | 위험관리 | 환자 안전·제품 품질·데이터 완전성 위험을 평가했는가 | QRM 보고서 |
| 04 | 역할과 책임 | 시스템 소유자·SME·QA의 책임이 정해져 있는가 | 책임 분담표 |
| 05 | 데이터 관리 | 학습·평가 데이터의 출처와 적합성이 확인되는가 | 데이터 평가 기록 |
| 06 | 데이터 완전성 | 원본 데이터와 메타데이터를 추적할 수 있는가 | 데이터 완전성 평가 |
| 07 | 데이터 독립성 | 학습 데이터와 검증 데이터가 분리돼 있는가 | 데이터셋 기록 |
| 08 | 시험 범위 | 정상·경계·이상 조건이 시험에 들어 있는가 | 시험 계획서 |
| 09 | 성능 기준 | 업무 위험에 맞는 허용 기준이 정해져 있는가 | 허용 기준 |
| 10 | AI 오류 | 환각·오분류·누락 같은 실패 유형을 평가했는가 | 실패 유형 분석 |
| 11 | 통제전략 | 오류를 예방·탐지·차단하는 통제가 정해져 있는가 | 통제전략 문서 |
| 12 | 사람의 감독 | 담당자가 AI 결과를 검토·거부·수정할 수 있고 그 흔적이 남는가 | 감독 절차·검토 기록 |
| 13 | 점검기록 | 입력·출력·수정·승인 이력을 추적할 수 있는가 | 점검기록(audit trail) |
| 14 | 변경관리 | 모델·프롬프트·설정·데이터 변경이 관리되는가 | 변경관리 기록 |
| 15 | 성능 모니터링 | 운영 중 성능 저하를 알아차릴 수 있는가 | 모니터링 계획 |
| 16 | 재검증 | 다시 검증해야 하는 조건이 정해져 있는가 | 재검증 기준 |
| 17 | 공급업체 | 외부 모델·응용프로그램 연동 인터페이스·클라우드 공급업체를 평가했는가 | 공급업체 평가 |
| 18 | 보안 | 비인가 접근과 데이터 유출을 통제하는가 | 보안 평가 |
| 19 | 비상 대응 | 장애·오류 때 쓸 대체 절차가 있는가 | 비상 대응 계획 |
| 20 | 주기적 검토 | 계속 써도 되는지 주기적으로 검토하는가 | 주기적 검토 보고서 |
종합 메시지
i&CP 견해2026년 10월의 소식들은 같은 방향을 가리킵니다. 규제기관은 기술의 이름으로 금지하던 기준에서, 업무마다 위험을 통제하고 그것을 입증할 수 있는가를 묻는 쪽으로 논의를 옮기고 있습니다. 산업계는 생성형 AI를 제조 기록 가까이까지 가져왔고, 학계는 연구 성능과 현장 검증 사이의 거리를 스스로 지적했습니다.
세 흐름이 만나는 곳에서 데이터 완전성의 오래된 질문이 다시 나옵니다. 이 기록은 누가, 무엇으로 만들었는가. 바뀌었다면 언제, 왜 바뀌었는가. 틀렸다면 누가 알아차렸는가. AI가 들어와도 질문은 같고, 답해야 할 기록이 늘어날 뿐입니다.
지금 쓰고 있는 AI 기능 하나를 고른다면, 그 기능이 틀렸던 사례와 그것을 잡아낸 기록을 보여 줄 수 있습니까?
의견과 문의: jmkim@incpcorp.com
When AI gets it wrong, what stops the error?
In October 2026 the European Medicines Agency (EMA) posted the report of its expert workshop on the GMP artificial intelligence annex (Annex 22) and described a newly established group to coordinate AI guidance. In the same month a generative AI tool for manufacturing recipes reached the market, and several papers on process prediction and formulation optimisation appeared. The question they share is not what AI can do, but what finds and stops its errors.
Sources in this issue differ in nature. Drafts and meeting records are not requirements in force; vendor statements and published results are not independently verified GMP evidence. Items marked i&CP view or i&CP suggestion are our interpretation, not a regulator's position.
Signal 1 · The question is moving from the label of a technology to the control strategy behind it
The 2025 draft of Annex 22, consulted on from 7 July to 7 October 2025, excluded generative AI and large language models, probabilistic, dynamic and adaptive models, stating that "such models should not be used in critical GMP applications." The workshop report (EMA/156789/2026, posted 2 October 2026) records that the drafting group discussed including such models where they are "supported by a fully documented, robust, risk-based control strategy." Regulators asked whether hallucination is ordinary statistical uncertainty; independent verification for continuously learning systems "needs clarification." The conclusion speaks of possible "viable pathways" — not a final text.
Signal 2 · Final human approval does not replace validation
A manufacturing execution system vendor announced on 22 October 2026 a generative AI tool that digitises, searches and edits pharmaceutical recipes, stating that "Review and approval remain in human hands" and citing early pilot figures of "around 30 percent faster" digitisation and "up to 40 percent" fewer manual steps. These are the company's claims, not independently verified validation results. The EMA report states that oversight "cannot compensate for inadequate validation" and must be evidenced and periodically reviewed.
Signal 3 · A model that performed in a study is not yet a model that performs on your site
A review in the European Journal of Pharmaceutical Sciences (Holm et al., 14 October 2026) notes that much of the literature is retrospective, based on small or heterogeneous datasets, with limited external or prospective validation. A hierarchical machine-learning surrogate for a dry granulation line (Shahab et al., Int J Pharm, 26 September 2026) and an AI-guided mRNA-LNP formulation study (Tian, Tran et al., Nat Biotechnol, 28 September 2026) show what is possible in development; neither is evidence of performance in a commercial GMP setting.
Overall message
Regulators are moving from banning by technology label towards asking whether risk is controlled and evidenced for each use. The old data integrity questions remain: who or what created this record, when and why did it change, and who noticed when it was wrong. AI does not change the questions; it adds records that must answer them.
Pick one AI function you use today. Can you show a case where it was wrong — and the record of how that was caught?
— i&CP | Integrity & Compliance
용어 설명
- GMP — 의약품 제조 및 품질관리 기준(Good Manufacturing Practice). EU GMP는 유럽연합의 GMP 지침(EudraLex Vol.4)이며 Annex는 부속서입니다.
- EMA · HMA — 유럽의약품청(European Medicines Agency) · EU 회원국 의약품 규제기관장 협의체(Heads of Medicines Agencies). PIC/S — 의약품실사상호협력기구. FDA — 미국 식품의약국.
- Annex 22 — EU GMP 지침에 새로 넣으려는 인공지능 부속서. 2025년 초안의 의견수렴은 끝났고 최종본은 아직 게시되지 않았습니다.
- 생성형 AI · 거대언어모델(LLM, Large Language Model) — 문장·코드 등을 새로 만들어 내는 모델. 같은 질문에도 답이 달라질 수 있는 확률적 출력을 냅니다.
- 적응형 모델(adaptive model) — 사용 중에 성능이 바뀌는 모델. 고정된(정적) 모델과 달리 검증한 상태가 그대로 유지된다고 가정할 수 없습니다.
- 환각(hallucination) — AI가 근거 없는 내용을 사실처럼 만들어 내는 현상.
- 드리프트(drift) — 운영 중 입력 데이터나 환경이 바뀌어 모델 성능이 서서히 떨어지는 현상.
- 점검기록(audit trail) — 누가·언제·무엇을·왜 바꿨는지 자동으로 남기는 기록. 식약처 안내서 공식 표기는 "점검기록"입니다.
- 품질위험관리(QRM) · 시정 및 예방조치(CAPA) · 사용자 요구사항 규격서(URS) · 제조 실행 시스템(MES) · 전자배치기록(EBR).
- 컴퓨터 소프트웨어 보증(CSA, Computer Software Assurance) — FDA 의료기기 분야의 위험기반 소프트웨어 보증 지침.
참고 문헌
- EMA, Multistakeholder workshop on expert contributions to artificial intelligence guidance development (Annex 22), EMA/156789/2026, 2026년 10월 2일 게시 — ema.europa.eu
- EMA, Summary notes of the HMA-EMA group focused on AI with industry stakeholders, 5 October 2026, EMA/227688/2026 — ema.europa.eu
- European Commission, EudraLex Vol.4 — Chapter 4, Annex 11 개정안·Annex 22 신설안 의견수렴(2025.7.7~10.7) — health.ec.europa.eu
- PIC/S, PI 006-4 Recommendations on Qualification and Validation (2026.10.1 시행) — picscheme.org
- U.S. FDA, Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products, Draft Guidance (2025.1) — fda.gov
- U.S. FDA, Computer Software Assurance for Production and Quality Management System Software, Final Guidance (2025.9, 2026.2 개정) — fda.gov
- Holm R. 외, Eur J Pharm Sci 227:107688 (2026), doi:10.1016/j.ejps.2026.107688
- Shahab M. 외, Int J Pharm 705:127416 (2026), doi:10.1016/j.ijpharm.2026.127416
- Tian J., Tran K.T.M. 외, Nat Biotechnol (2026), doi:10.1038/s41587-026-03331-w
- 산업계 발표(참고용 · 회사 주장) — Körber, "Körber and Microsoft unveil AI solution for regulated pharma manufacturing", 2026년 10월 22일 보도자료 — koerber.com
※ 영문 인용은 2026년 10월 24일 원문(PDF·보도자료·PubMed 초록)에서 대조했습니다. 규제기관 문서의 서술은 i&CP의 요약이며 공식 번역이 아닙니다. 산업계 발표는 회사의 주장을 그대로 옮긴 것으로, 아이앤씨피가 성능을 검증하거나 특정 제품을 권하는 것이 아닙니다. 토론 사례는 교육용 가상 상황입니다.