AI 의료사고, 책임은 누구에게…네이처가 제시한 7단계 안전망[AI헬스케어]

[이데일리 김승권 기자] 의료 AI가 진단과 치료의 보조를 넘어 점점 더 깊숙이 진료 과정에 들어오면서, 사고가 났을 때 책임을 누구에게 물을지에 대한 논의가 본격화하고 있다. 최근 국제학술지 네이처에 실린 논문은 의료 AI의 위험을 자율성, 자동화, 운용 범위로 나눠 7단계로 분류하고, 이에 맞는 법적·제도적 안전망을 마련해야 한다고 제안했다.

2일 해당 네이처 논문에 따르면 0단계는 전자건강기록 관리나 웨어러블 데이터 모니터링처럼 정보 제공에 머무는 AI다. 1~2단계는 이상 징후 포착이나 진단·치료 지원처럼 임상의 판단을 돕는 수준이며, 3단계부터는 AI가 사실상 의사결정에 더 큰 역할을 맡는다.

(AI생성 이미지)

4단계는 자율성, 자동화는 중상, 운용 범위는 넓은 ‘의료진 백업 AI’다. 중환자실에서 여러 생리학적 목표에 맞춰 인공호흡기를 설정하고 진정제를 투여하는 등의 작업을 동시에 조절할 수 있는 AI다. 문제가 발생하면 의료진을 소환하는 백업 프로토콜을 가진다. 임상의는 AI 경보가 울릴 때 관여한다.

5단계는 ‘자율 의사 AI’다. 자율성과 자동화 수준이 높고 운용 범위는 넓다. 병력을 청취하고 검사 수립 및 검사 결과 해석, 약물 처방, 합병증 관리 등을 처리하도록 승인된 AI다. 인간은 필요 시에만 개입할 수 있는 권한이 유지된다. 현재 5단계에 근접한 AI는 존재하지 않는다.

6단계는 극도로 높은 자율성과 자동화, 넓은 운용 범위를 가진 ‘자기 학습 의료 AI’다. AI가 완전히 자율적으로 치료를 제공하고 새로운 데이터가 발생하면 스스로 진료 방식을 업데이트한다.

문제는 단계가 높아질수록 의료진이 AI의 판단 과정을 완전히 추적하기 어려워지고, 사고 발생 시 책임 경계도 흐려진다는 점이다. 특히 블랙박스 딥러닝처럼 결과는 제시하지만 과정은 설명하기 어려운 AI가 확산하면, 기존의 의료기기 책임 구조만으로는 한계가 있다는 지적이다.

논문 공동저자들은 규제기관이 AI의 사용 목적과 기능별 등급을 더 세밀하게 나누고, 개발사는 실제 현장 성능을 지속 감시해야 한다고 봤다. 규제기관은 시장에 진입하는 AI 도구의 사용 목적과 개발자 제출 데이터 기반으로 등급을 부여하고 다목적 AI는 각 기능별 등급을 부여해야 한다는 것이다. 개발업체들이 등급을 낮추려는 시도를 할 때는 엄격한 기준을 제시해야 한다고 강조했다.

병원은 AI 활용 기록과 의료진 교육을 강화하고, 법적으로는 AI 전용 보험과 책임 체계도 검토할 필요가 있다고 제언했다. 해당 논문에서 한 연구원은 “고도화된 의료 AI가 본격적으로 확산되기 전에 기준을 먼저 세워야 한다는 점”이라며 “3~4단계 AI가 일상 진료에 들어온 뒤 대응에 나서면 책임 공방만 커질 수 있다”고 경고했다.