2026-09-07
THINKFORBL COLUMN SERIES
[박지환의 인공지능 선긋기] AI 신뢰성, 좋은 병원을 만드는 건 앰뷸런스 사이렌 소리가 아니다
더에이아이
중국 고사에 등장하는 편작은 희귀병으로 가사 상태에 빠진 사람도 한눈에 그 상태를 확인해 살려냈다는 전설의 명의다. 어느 날 어떤 군주가 그의 의술에 관해 물었을 때, 편작은 삼형제 중 자신의 의술이 가장 수준이 낮다고 대답해서 사람들을 놀라게 했다.
그의 말에 따르면, 첫째형은 누군가에게 병이 생기기 전에 예방할 방법을 알려주기 때문에 가장 수준이 높고, 둘째형은 병이 심각해지기 전 단계에서 치료해 주기 때문에 그 다음이지만, 자신은 병이 위험할 정도로 진행됐을 때 환자를 죽음 직전에서 살려내기 때문에 가장 수준이 낮으면서도 유명해졌다는 것이다. 사람들이 열광하는 퍼포먼스와 세상을 바꾸는 진정한 실력은 일치하지 않을 수도 있다는 의미의 이야기다.
AI 신뢰성 분야에도 비슷한 문제가 있다. 신뢰성 분야에서 뛰어나다는 말의 의미는 무엇일까. 최근 다수의 사람이 신뢰성 인증이라고 오해하고 있는 ISO/IEC 42001 인증받은 기관에 방문해 그 구체적인 관리시스템에 대해 자세히 질문해 본 적이 있다. 그곳이 AI 편향을 관리한다고 스스로 소개했기 때문이다.
먼저 어떤 종류의 편향이 문제인지 명확히 판단해야 한다. 데이터가 특정 집단에 치우쳐 선택되는 Selection bias인지, 특정 집단의 데이터가 충분히 반영되지 않는 Representation bias인지, 데이터를 측정하거나 평가하는 과정에서 오류가 발생하는 Measurement bias인지, 과거의 차별이나 불평등이 데이터에 그대로 반영된 Historical bias인지 구분할 필요가 있다.
또한, 이러한 편향으로 인해 실제로 어떤 불공정성이 발생하는지도 평가해야 한다. 이를 위해 집단별 결과가 공정하게 나타나는지를 Demographic parity, Equal opportunity, Equalized odds, Calibration 등의 기준으로 확인할 수 있다. 여기까지 구체적인 기술의 영역으로 들어가면서부터 담당자들의 답변이 흐려지는 경우가 있었다. 이 부분이 불분명하다면, 더 나아가 불공정성 확인, 집단별 성능 차이 비교 등에 대해서도 대답하기 어려운 게 당연할 것이다.
사실 ISO/IEC 42001 표준은 AI를 책임 있게 관리하기 위한 경영시스템(AIMS)에 대한 것이다. 그래서 해당 인증을 받았더라도 모델 견고성 평가나 인간 감독 설계, 드리프트 측정에서 무엇의 변화를 어떤 기술과 지표, 임계값으로 측정하는지 그 정당성을 설명하지 못하는 경우가 종종 있다. 관리시스템 구축과 AI 신뢰성 분야는 각기 다른 전문 기술의 영역이기 때문이다. 문제는 시장에서 그 둘을 자주 혼동한다는 점이다. 말하자면 구급대원이 위급한 현장에서 재빠른 응급처치로 죽어가는 환자를 살려내니까, 그들이 건강검진이나 건강관리에도 전문가이려니 생각해 버리는 식이다.
조직도와 R&R, 위원회, 리스크 매트릭스, 승인 절차와 대시보드는 눈에 잘 보인다. 결과물이 화려하고, 경영진이나 감사·준법 담당자도 비교적 쉽게 이해할 수 있다. 반면에 편향을 제대로 진단하는 기술, 모델을 흔들어 견고성을 시험하는 기술, 페일 세이프나 세이프 모드를 설계하는 기술, 가드레일과 드리프트 탐지 기술에는 눈에 띄는 퍼포먼스가 없다. 게다가 그 기술을 평가하려면 평가하는 사람에게도 전문성이 필요하다.
그래서 시장이나 공공의 판단에서 뒷전으로 밀리기 쉽다. 마치 환자안전위원회와 의료사고 대응 절차는 훌륭한데 정작 CT를 판독하고 병을 진단하는 기술은 부족한 병원과 비슷해지는 것이다. 병원 운영체계와 의학 기술 양쪽이 다 갖춰져야 좋은 병원이다. 마찬가지로 AI 관리의 프로세스만큼이나 실제 위험을 측정하고 통제하는 기술이 뒷받침돼야 AI의 신뢰성을 논할 수 있다.
편작의 형들이 정말로 편작보다 뛰어난 의사들이었는지, 그들에 대한 기록이 없는 지금 정확히 알 수 없다. 해당 고사에서 편작이 말하고자 했던 건, 죽어가는 사람을 살려내는 화려한 무용담보다 애당초 환자가 그런 위기 상황까지 가지 않도록 하는 예방과 조기 치료 기술이 더 중요하다는 이야기일 것이다. 산업 초창기에는 직관적인 인증 체계와 퍼포먼스가 시장을 사로잡을 수 있다. 정작 지속 가능한 경쟁력은 잘 다져진 전문 기술에서 나온다. 퍼포먼스는 후발주자도 그럴싸하게 만들 수 있지만, 전문 기술의 격차는 시간이 지날수록 차이를 좁히는 게 불가능해지기 때문이다.
[출처]
[출처]
2026-09-07
THINKFORBL COLUMN SERIES
[박지환의 인공지능 선긋기] AI 신뢰성, 좋은 병원을 만드는 건 앰뷸런스 사이렌 소리가 아니다
더에이아이
