1부에서 말을 맞췄습니다. 2부는 그 말을 의약품 제조 및 품질관리기준(GMP) 현장으로 가져갑니다. "우리도 AI를 써 볼까요?"라는 말이 나왔을 때 품질 담당자가 먼저 짚을 일곱 가지입니다. 기준은 하나입니다. AI 도입은 GMP에서 쓰는 시스템 하나를 도입하는 일입니다.
도입 · 에이전틱 AI 지도
1부에서 AI 에이전트를 모델과 하네스로 나눠 보았습니다. 그런데 "에이전틱 AI"라는 이름 아래에는 여러 모습이 섞여 있습니다. 두 축으로 나누면 정리가 쉽습니다. 공인된 분류가 아니라 설명을 위한 아이앤씨피의 정리입니다.
두 축은 따로 움직입니다. 순서가 고정된 흐름 안에서 여러 AI가 일할 수도 있습니다.
하는 일(코딩·문서 작업·리서치), 일하는 방식(도구 연결, 화면을 사람처럼 조작), 들어가는 자리(업무 시스템 안에 내장, 자동화 도구에 AI 단계 추가)로 부르기도 합니다. 이 이름들은 서로 겹칩니다. 연결 규약으로는 AI를 도구에 잇는 MCP(Model Context Protocol)와 에이전트끼리 잇는 A2A(Agent2Agent)가 알려져 있습니다.
GMP에서 생각해 볼 수 있는 보조 활용은 다음과 같습니다. 어느 것이든 용도별 위험평가가 먼저이고, 위험은 용도와 누락이 미치는 영향에 따라 달라집니다.
| 쓰임 | 예 | 사람이 하는 일 |
|---|---|---|
| 문서 초안 | 표준작업지침서(SOP) 개정안, 교육자료, 회의록 초안 | 원본과 대조하고, 그 문서의 절차대로 검토·승인한다 |
| 규정·SOP 대조 | 개정된 규정과 현행 SOP의 차이 목록 | 근거 조항이 원문의 어디에 있는지 직접 확인한다 |
| 규제 동향 수집 | 발표·지침 요약 | 원문의 날짜와 상태(초안·최종)를 확인한다 |
| 점검기록 검토 보조 | 시스템 수준 정기 검토에서 이상 징후 후보 표시 | 정해진 검토 범위는 사람이 그대로 본다. AI가 '이상 없음'으로 둔 항목도 검토에서 빼지 않는다. 표시 기준은 미리 승인하고, 바꿀 때 영향평가한다 |
| 유사 일탈·시정 및 예방조치(CAPA) 찾기 | 과거 기록에서 비슷한 사례 제시 | 인용한 기록이 실제로 있는지 확인하고, 원인 판단은 사람이 한다 |
| 시험 항목 초안 | 사용자 요구사항(URS)에서 시험 항목 초안 | 시험 설계 검토, 실행, 판정은 사람이 한다 |
| 자료 취합 | 연간 품질평가(APQR) 자료 모으기 | 숫자를 원래 시스템의 값과 대조한다 |
i&CP 견해순서가 고정된 워크플로형은 통제와 검증을 설계하기 쉬운 출발점입니다. 다만 흐름이 고정돼도 단계마다 대규모 언어 모델(LLM)이 동작하면 결과는 달라질 수 있습니다. 결재선 같은 고정 프로그램과는 다르며, 아래 1번의 "AI가 들어간 시스템"에 속합니다. 출하 판정이나 데이터 승인처럼 중요한 GMP 결정은 AI에게 맡기지 않기를 권합니다. 규제 문서의 표현은 2번에서 봅니다.
1두 갈래를 먼저 나눕니다
AI 도입 검토서의 첫 질문은 "운영 중에 AI 모델이 판단에 쓰이는가"입니다. 답에 따라 밸리데이션의 길이 갈립니다.
AI가 코드를 써 주었을 뿐
운영 중에 AI 모델을 부르지 않고, 코드가 같은 입력에 같은 결과를 내는(결정론적) 경우입니다. 그 동작을 확인한 위에서 기존 컴퓨터화시스템 밸리데이션(CSV)과 위험 기반 보증으로 확인합니다. AI가 썼다는 이유로 기준이 낮아지지도, 높아지지도 않습니다.
운영 중에 모델이 판단한다
모델이 읽고, 분류하고, 쓰고, 판단합니다. 같은 입력에도 결과가 달라질 수 있습니다. 의도된 용도를 정하고, 평가셋과 수용 기준으로 성능을 확인하며, 운영 중에도 계속 지켜봅니다.
미국 식품의약국(FDA)의 컴퓨터 소프트웨어 보증(Computer Software Assurance, CSA) 지침은 위험이 큰 곳에 확인의 힘을 모으는 접근을 보여 줍니다. 다만 의료기기 생산·품질경영시스템 소프트웨어를 대상으로 한 지침이므로, 의약품 GMP에서는 그 원칙을 참고합니다.
2의도된 용도를 한 문장으로
용도를 한 문장으로 적으면 범위가 정해집니다. 누가, 어떤 업무에, 어떤 입력으로, 결과를 어디에 쓰는가. 중요 용도는 환자 안전, 제품 품질, 데이터 완전성에 직접 영향을 주는 용도입니다. 용도가 정해져야 위험 등급과 밸리데이션 범위, 관리 수준이 정해집니다.
규제기관유럽연합(EU) GMP Annex 22 초안(2025년 7월 의견수렴)은 출력이 결정론적인 정적 모델을 대상으로 합니다. 생성형 AI·LLM처럼 확률적이거나 동적인 모델은 적용 대상에서 빼고, 이런 모델을 중요 GMP 용도에 쓰지 말아야 한다고 적었습니다. 비중요 용도에서는 사람이 책임지는 조건에서 원칙을 참고하게 했습니다. 2026년 10월에 게시된 유럽의약품청(EMA) 워크숍 보고서에는 문서로 충분히 갖춘 위험 기반 통제 전략을 조건으로 이런 모델을 포함하는 방안을 논의한 기록이 있습니다(Vol.07). 어느 쪽도 확정된 요구사항은 아닙니다. 지금의 기준은 2011년판 Annex 11과 국내 GMP·데이터 완전성 기준입니다.
i&CP 견해먼저 할 일은 용도를 한 문장으로 정하는 것입니다. 용도가 정해지지 않은 AI는 위험을 평가할 수도, 밸리데이션 범위를 정할 수도 없습니다. 그다음 그 용도가 중요 용도라면, 초안이 생성형 AI·LLM에 둔 사용 제한을 따로 검토합니다. 용도를 적는 것만으로 그 제한이 풀리지는 않습니다.
3규제 지형 한 장
문서마다 종류와 상태가 다릅니다. 규제 문서와 산업 지침을 나눠 봅니다(2026년 11월 11일 기준).
- 규제기관FDA 「AI 규제 의사결정 지원」 지침 초안
초안(시행용 아님). 제조 단계를 포함해 의약품 규제 판단을 뒷받침하는 AI 정보가 대상이고, 안전성·품질·연구 신뢰성에 영향을 주지 않는 내부 업무 효율용 AI는 대상이 아님. 사용 맥락(COU)에 따른 신뢰성 평가 7단계를 제시 - 규제기관EU GMP Annex 11 개정안 · Annex 22 신설안 · Chapter 4 개정안
의견수렴 마감(2025.10.7). 2026년 11월 11일 현재 최종본 미게시. 현행은 2011년판 Annex 11과 Chapter 4 - 산업계국제제약공학회(ISPE) GAMP 「인공지능」 가이드
산업계 실무 지침. 규제기관 문서가 아님 - 규제기관FDA 컴퓨터 소프트웨어 보증(CSA) 지침
2025년 9월 최종, 2026년 2월 품질경영시스템(QMS) 반영판으로 대체. 의료기기 생산·품질경영시스템 소프트웨어 대상. 의약품 GMP에서는 원칙만 참고 - 규제기관FDA 의약품 제조소 경고서한의 AI 사용 지적
AI로 만든 규격·절차서·제조기록서를 품질 부서가 검토하지 않은 것을 지적(7번) - 규제기관EMA Annex 22 전문가 워크숍 보고서
작성 논의의 기록. 효력 없음(Vol.07)
i&CP 견해교육자료와 사내 보고서에서 가장 흔한 오류는 초안을 시행 중인 의무처럼, 의료기기 지침을 의약품 지침처럼, 산업 지침을 규제처럼 소개하는 것입니다. 인용하기 전에 문서의 상태와 대상을 먼저 확인하십시오.
4환각과 비결정성은 관리로 다룹니다
환각(그럴듯하게 지어내는 것)과 비결정성(같은 질문에도 답이 달라지는 성질)은 한 번 고치면 사라지는 결함이 아니라 계속 관리할 성질입니다. 그래서 도입할 때와 운영할 때 할 일을 나눕니다.
- 평가셋(정답이 정해진 시험 문제 묶음)과 수용 기준을 정한다. 놓친 것과 잘못 짚은 것까지 센다
- 사람의 검토를 점검 질문별 판정으로 설계한다
- 가드레일: 범위 밖 요청을 막고, 근거 없는 답에는 [확인 필요]를 붙인다
- 미결정 경로: 판단이 어려우면 결론 대신 사람에게 넘긴다
- 사전 실행 결과를 기준 결과로 보관한다
- 점검 주기와 책임자를 정한다
- 정해진 주기에 평가셋을 다시 돌려 기준 결과와 비교한다
- 기준에 못 미치면 사용을 멈추거나 사람 처리로 돌리고, 일탈로 처리한다
한 번 잘 맞힌 결과만으로 성능이 입증되지는 않습니다. 정해진 시험지로, 정해진 주기에, 같은 기준으로 다시 확인한 기록이 근거가 됩니다.
5데이터 완전성과 이어집니다
AI가 만든 초안도 기록의 일부가 됩니다. 누가 어떤 입력으로 생성했고, 누가 무엇을 고쳤으며, 누가 승인했는지 점검기록으로 추적할 수 있어야 합니다.
i&CP 제안다음을 구성 항목으로 관리하기를 권합니다. 모델 버전, 프롬프트(요청문), 검색 증강 생성(RAG)의 색인 범위, 가드레일 규칙, 판정 임계값입니다. 바뀌면 결과가 바뀌므로 변경관리로 영향평가와 회귀 시험(고친 뒤 기존 기능이 그대로인지 다시 하는 시험)을 합니다.
규제기관EU GMP Annex 11 개정 초안은 점검기록 검토를 돕는 도구의 사용을 권장한다고 적었습니다(초안, 효력 없음). 도구가 돕더라도 검토의 책임과 정해진 범위는 그대로입니다.
RAG는 지정한 문서 묶음에서 근거를 찾아 답하게 하는 방식입니다. 오픈북 시험과 같아서, 책이 옛판이면 답도 틀립니다. 현행 승인 문서만 색인하고, 색인 범위를 위험평가합니다.
6공급업체를 평가하고, 넣을 자료를 정합니다
외부 AI 서비스는 공급업체 평가 대상입니다. 넣은 자료가 어디에 저장되는지, 학습에 쓰이는지, 모델이 언제 바뀌고 그것을 알려 주는지, 서비스가 멈추면 어떻게 하는지를 확인합니다.
넣지 않을 자료도 먼저 정합니다. 비밀번호나 API 키 같은 자격 증명, 개인정보, 사용 승인을 받지 않은 고객 자료입니다. 그리고 1부에서 본 대로 커넥터가 닿는 범위가 곧 AI의 접근 권한입니다. 연결할 저장소와 권한을 필요한 만큼만 정하고 기록합니다.
7사람의 검토가 형식만 남지 않게
자동화 편향(기계의 결과를 지나치게 믿는 경향)과 검토 피로(반복 검토로 주의가 떨어지는 현상)는 사람의 검토를 서명만 남은 절차로 만듭니다. Vol.07에서 인용한 EMA 보고서의 표현대로, 사람의 감독은 부족한 밸리데이션을 메워 주지 못합니다.
규제기관검토가 아예 빠진 경우도 실제로 지적됐습니다. 2026년 4월 미국 FDA는 한 의약품 제조소에 보낸 경고서한에서 AI 사용을 따로 지적했습니다. AI 에이전트로 제품 규격, 절차서, 제조기록서 원본을 만들고 품질 부서가 그 문서를 검토하지 않은 것을 품질 부서 책임 규정(21 CFR 211.22(c)) 위반으로 적었습니다. 서한은 AI의 결과물과 권고를 품질 부서의 권한 있는 사람이 검토하고 승인해야 한다고 했습니다. 같은 서한에는 공정 밸리데이션을 하지 않은 제조소가 "AI 에이전트가 필요하다고 알려 주지 않았다"고 답한 내용도 있습니다.
- 검토를 "봤음" 서명이 아니라 점검 질문별 판정으로 남깁니다.
- 하루 검토량과 검토자 순환을 정합니다.
- 검토자가 실제로 오류를 잡아내는지 주기적으로 확인합니다. 예를 들어 오류를 일부러 넣은 견본으로 확인합니다.
용어 O·X 5문항
각 문항에서 O 또는 X를 누르면 해설이 나옵니다.
우리 회사 AI 도입 점검표 7줄
맺으며
AI 도입은 GMP에서 쓰는 시스템 하나를 도입하는 일입니다. 새로운 것은 모델이지 원칙이 아닙니다. 용도를 정하고, 위험을 평가하고, 시험하고, 바뀌면 다시 확인하고, 기록을 남깁니다. 사람에게 요구해 온 절차, 교육, 검토, 기록의 원칙을 AI에도 똑같이 적용합니다.
지금 쓰고 있는 AI 기능 하나를 골라, 의도된 용도를 한 문장으로 적어 보시겠습니까?
AI 특집 1부 · 「AI에게 일을 맡기기 전에, 말부터 맞춥니다」 · 의견과 문의: jmkim@incpcorp.com
Bringing in AI means bringing in a GMP system
Part 2 of our AI special takes the vocabulary of Part 1 to the GMP floor: seven points a quality professional should check before an AI tool is introduced. Regulatory status is as of 11 November 2026; drafts are not requirements in force.
A map of agentic AI
We describe agentic AI on two separate axes. Autonomy: a person directs each step, a person fixes the flow and AI works inside each step (workflow), or the model chooses the next action (agent). Composition: one agent or several. This is an explanatory i&CP view, not an official classification. Possible GMP support uses include drafting, comparing regulations with SOPs, collecting regulatory news, flagging candidates in periodic system-level audit trail review, finding similar deviations, drafting test items from user requirements and compiling APQR data. Each needs a risk assessment for its intended use, and AI flagging must never remove records from the defined human review scope. A fixed workflow is an easier place to start, but if an LLM runs inside its steps it is still an AI-enabled system. We recommend not delegating critical GMP decisions such as batch release or data approval to AI.
The seven points
1) Separate systems built with AI (code that calls no AI model in operation and behaves deterministically, validated through CSV and risk-based assurance) from systems in which a model makes judgments during operation. 2) State the intended use in one sentence; the EU GMP Annex 22 draft (consultation July 2025) covers static models with deterministic output, excludes generative AI and LLMs and says they should not be used in critical GMP applications, while a 2026 EMA workshop report records discussion of including them under a fully documented risk-based control strategy. Neither is final. 3) Check each document's type and status before citing it. 4) Manage hallucination and non-determinism with evaluation sets, acceptance criteria, guardrails, an abstain-and-escalate path, baseline results and periodic re-testing. 5) Treat model version, prompt, RAG index scope, guardrail rules and thresholds as configuration items under change control (i&CP proposal), and keep an audit trail of AI-generated drafts. 6) Assess external AI services as suppliers and define data that must never be entered; the scope of connectors is the scope of access. 7) Design human review as question-by-question judgments with set workloads and rotation, so it does not become a signature only. In April 2026 an FDA warning letter to a drug manufacturer cited its use of AI: specifications, procedures and master production records created with AI agents had not been reviewed by the quality unit (21 CFR 211.22(c)).
Pick one AI function you use today. Can you write its intended use in one sentence?
— i&CP | Integrity & Compliance
용어 설명
- GMP — 의약품 제조 및 품질관리기준(Good Manufacturing Practice).
- 컴퓨터화시스템 밸리데이션(Computerized System Validation, CSV) — 컴퓨터화시스템이 의도된 용도에 맞게 일관되게 동작함을 문서로 입증하는 활동.
- 점검기록(audit trail) — 누가·언제·무엇을·왜 바꿨는지 시스템이 자동으로 남기고, 변경 전 값도 보존하는 기록. 식약처 안내서 공식 표기는 "점검기록"입니다.
- 시정 및 예방조치(Corrective and Preventive Action, CAPA), 사용자 요구사항(User Requirements Specification, URS), 연간 품질평가(Annual Product Quality Review, APQR).
- 검색 증강 생성(Retrieval-Augmented Generation, RAG) — 답하기 전에 지정한 문서 묶음에서 관련 부분을 찾아 그 내용을 근거로 답하게 하는 방식.
참고 자료
- 유럽연합 집행위원회, EudraLex Vol.4 Chapter 4·Annex 11·Annex 22 의견수렴(2025.7.7~10.7) — 의견수렴 안내, Annex 22 초안, Annex 11 개정 초안.
- 미국 FDA, 「Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products」 초안(2025.1) — FDA 안내 페이지.
- 미국 FDA, 「Computer Software Assurance for Production and Quality Management System Software」(2026.2) — FDA 안내 페이지.
- 미국 FDA 의약품평가연구센터(CDER) 의약품 제조소 경고서한(2026.4), AI 사용 지적 항목 — 업체명은 본문에 기재하지 않았습니다.
- ISPE, GAMP Guide: Artificial Intelligence 발간 안내(2025.7.29) — ISPE.
- 연결 규약: MCP 공개(Anthropic, 2024.11), A2A 공개(Google, 2025.4), A2A 프로젝트의 리눅스 재단 이관(2025.6).
- DI Forum Newsletter Vol.07(No.261024, 2026.10.24), 「AI가 틀렸을 때, 무엇이 그 오류를 막습니까」 — 규제 문서별 상태 표와 AI 시스템 사전 점검표.
- DI Forum Special Edition 04(No.261109), AI 특집 1부 「AI에게 일을 맡기기 전에, 말부터 맞춥니다」.
- 아이앤씨피, 「AI 적용과 밸리데이션」 교육 AI 용어집과 평가 문제(교육용, 2026.11) — 용어 풀이와 O·X 문항의 원본.
※ 용어 풀이와 분류, i&CP 견해·제안은 아이앤씨피의 교육용 설명이며 규제기관의 정의나 공식 번역이 아닙니다. 제품·규약 이름은 예시이며 특정 제품을 권하는 것이 아닙니다. 이 글은 AI의 도움을 받아 작성했고, 사람이 검토·승인한 뒤 게시합니다.