← 전문가 노트

Notes · 2026-08-15

[자율제조 시리즈 ⑤] 제조 AI는 어디까지 판단할 수 있는가?

이상탐지에서 예측과 처방, 자율실행까지

제조현장에 AI를 도입하면 가장 먼저 기대하는 것은 예측이다.

설비가 언제 고장 날지 예측하고, 어떤 제품에서 불량이 발생할지 미리 알아내며, 생산계획과 공정조건을 최적화할 수 있을 것으로 생각한다.

최근에는 생성형 AI와 AI 에이전트가 등장하면서 기대의 범위가 더욱 넓어졌다.

작업자가 질문하면 생산현황을 설명하고, 이상 원인을 분석하며, 필요한 조치를 제안하는 수준을 넘어 AI가 생산계획을 수정하고 설비조건까지 스스로 변경하는 자율제조가 논의되고 있다.

그러나 제조 AI가 높은 정확도로 결과를 예측한다고 해서 그 판단을 곧바로 실행에 연결할 수 있는 것은 아니다.

품질에 영향을 주는 공정조건 변경과 안전에 관련된 설비제어, 납기와 원가를 바꾸는 생산계획 조정은 서로 다른 위험을 가진다.

같은 AI의 판단이라도 작업자에게 정보를 제공하는 것과 설비를 직접 제어하는 것은 전혀 다른 문제다.

따라서 다음과 같은 질문이 필요하다.

“AI가 얼마나 정확하게 예측하는가?”

뿐만 아니라,

“AI가 어떤 의사결정을, 어느 범위까지, 어떤 조건에서 수행하도록 허용할 것인가?”

제조 AI의 성숙도는 모델의 정확도만으로 결정되지 않는다.

AI가 판단할 수 있는 범위와 실행할 수 있는 범위, 사람이 개입해야 하는 조건을 얼마나 명확하게 설계했는지가 중요하다.

이번 글에서는 제조 AI의 판단이 이상탐지에서 진단과 예측, 처방과 최적화, 제한적 자율실행으로 어떻게 확장되는지 살펴보고자 한다.

목차

  1. 제조 AI가 판단한다는 것은 무엇인가
  2. 이상을 찾는 것과 원인을 판단하는 것은 다르다
  3. 제조 AI의 판단은 어떤 단계로 발전하는가
  4. 예측 정확도가 높아도 실행을 맡기기 어려운 이유
  5. 제조 AI는 무엇을 함께 고려해야 하는가
  6. 생성형 AI와 AI 에이전트는 제조현장에서 무엇을 판단할 수 있는가
  7. 사람의 승인은 어디에 남겨야 하는가
  8. AI 판단의 신뢰성은 어떻게 검증해야 하는가
  9. 제조 AI의 판단범위를 현실적으로 확대하는 방법
  10. 경영진은 AI의 정확도보다 무엇을 확인해야 하는가

1. 제조 AI가 판단한다는 것은 무엇인가

제조현장에서 AI의 판단이라는 표현은 넓은 의미로 사용된다.

센서값이 정상범위를 벗어났다고 알리는 것도 판단이라고 부르고, 불량 가능성을 예측하는 것도 판단이라고 한다. 생산계획을 최적화하거나 설비조건을 자동으로 변경하는 것도 AI의 판단으로 설명된다.

하지만 이들은 같은 수준의 판단이 아니다.

예를 들어 프레스 설비에서 진동이 증가했다고 가정해보자.

AI는 다음과 같이 서로 다른 수준의 결과를 제시할 수 있다.

상태 확인

현재 진동값이 정상범위를 벗어났다.

이상 진단

모터 구동부 또는 베어링에서 이상이 발생했을 가능성이 높다.

고장 예측

현재 추세가 지속되면 10일 이내에 베어링 고장 위험이 높아질 수 있다.

대응안 추천

다음 계획정지 시간에 베어링을 점검하고 윤활상태를 확인하는 것이 필요하다.

운영 최적화

정비 전까지 설비속도를 8% 낮추면 고장 위험을 줄이면서 납기 영향을 최소화할 수 있다.

자율실행

설비속도를 허용범위 안에서 자동으로 조정하고 CMMS에 점검작업을 생성한다.

처음 두 단계는 현장의 상황을 인식하고 설명하는 수준이다.

고장 예측부터는 미래의 상태를 판단하며, 대응안 추천은 가능한 행동 가운데 무엇을 선택할 것인지 제안한다.

운영 최적화와 자율실행 단계에서는 품질과 생산성, 안전, 납기, 원가를 함께 고려해 실제 운영을 변경한다.

따라서 제조 AI의 판단은 단순한 분석결과가 아니다.

현재 상황을 인식하고, 미래의 결과를 예측하며, 목표와 제약조건을 고려해 적절한 행동을 선택하는 과정이다.

자율제조가 되려면 AI의 판단이 설명이나 추천에 머물지 않고 실제 작업지시와 생산계획, 설비제어로 연결되어야 한다.

그러나 판단의 수준이 높아질수록 잘못된 결정이 현장에 미치는 영향도 커진다.

제조 AI의 발전은 기능을 많이 추가하는 문제가 아니라,

판단의 권한과 책임을 단계적으로 확대하는 과정으로 보아야 한다.

2. 이상을 찾는 것과 원인을 판단하는 것은 다르다

현재 제조현장에서 비교적 많이 활용되는 AI 기능은 이상탐지다.

온도와 진동, 압력, 전류, 유량과 같은 센서값에서 평소와 다른 패턴을 찾아낸다. 정상 데이터의 분포를 학습한 뒤 일정 범위를 벗어난 값을 이상으로 판단하기도 한다.

이상탐지는 문제를 조기에 발견하는 데 유용하다.

그러나 이상을 발견했다고 해서 원인을 안다는 의미는 아니다.

사출성형 공정에서 제품 중량의 편차가 증가했다고 가정해보자.

중량 편차는 다음과 같은 여러 요인에 의해 발생할 수 있다.

  • 원재료의 수분함량 변화
  • 사출압력 또는 보압시간 변화
  • 금형온도의 불균형
  • 체크링이나 노즐의 마모
  • 원재료 LOT 변경
  • 냉각수 온도와 유량의 변화
  • 센서 자체의 이상
  • 측정장비의 보정 문제

AI가 중량 편차의 이상을 정확하게 탐지하더라도 어느 원인이 실제 문제를 발생시켰는지는 별도의 분석이 필요하다.

상관관계와 인과관계도 구분해야 한다.

외부기온이 높아질 때 불량률이 함께 증가했다고 해서 외부기온이 직접적인 원인이라고 단정할 수 없다. 외부기온의 상승이 냉각수 온도에 영향을 주고, 다시 금형 냉각시간을 변화시켜 품질문제를 일으켰을 수 있다.

또는 여름철에 특정 원재료를 사용한 것이 실제 원인일 수도 있다.

AI가 원인을 판단하려면 센서 데이터만으로는 충분하지 않다.

  • 설비의 구조와 작동원리
  • 제품별 표준 공정조건
  • 원재료와 제품의 관계
  • 공정변수와 품질특성의 관계
  • 고장모드와 고장영향
  • 작업표준과 품질기준
  • 과거의 문제와 조치이력
  • 작업자와 설비전문가의 경험

이러한 제조 지식이 함께 연결되어야 한다.

따라서 제조 AI는 다음의 차이를 구분해야 한다.

이상탐지

평소와 다른 현상이 발생했다.

이상진단

어디에서 어떤 문제가 발생했을 가능성이 높다.

원인분석

어떤 조건과 사건이 문제 발생에 영향을 주었는지 설명한다.

근본원인 판단

동일한 문제의 재발을 방지하기 위해 제거해야 할 원인을 특정한다.

이상탐지 모델의 정확도가 높다고 해서 근본원인을 자동으로 찾을 수 있는 것은 아니다.

제조 AI가 판단의 수준을 높이기 위해서는 데이터를 넘어,

설비와 공정, 제품과 품질의 관계를 설명하는 지식이 필요하다.

3. 제조 AI의 판단은 어떤 단계로 발전하는가

제조 AI의 판단수준을 설명하는 유일한 국제표준 분류가 정립된 것은 아니다.

다만 제조현장에 적용되는 분석과 의사결정 기능을 실무적인 관점에서 구분하면 다음과 같이 정리할 수 있다.

① 기술적 분석: 무엇이 발생했는가

현재와 과거의 생산상태를 정리한다.

  • 생산량과 설비가동률
  • 불량률과 불량유형
  • 비가동시간과 고장현황
  • 작업지시 진행상태
  • 에너지 사용량
  • 재공품과 재고현황

이 단계에서는 주로 현황을 보여주고 사건을 확인한다.

② 진단적 분석: 왜 발생했는가

이상이나 성과변동의 원인을 분석한다.

  • 불량에 영향을 준 공정변수
  • 설비정지의 주요 원인
  • 생산계획과 실적의 차이
  • 특정 원재료 LOT와 품질문제의 관계
  • 작업조건 변경 전후의 차이

진단결과는 하나의 원인을 단정하기보다 원인 후보와 근거, 가능성을 함께 제시해야 한다.

③ 예측적 분석: 앞으로 무엇이 발생할 것인가

현재 상태와 과거 데이터를 이용해 미래의 결과를 추정한다.

  • 설비 고장 가능성과 잔여수명
  • 제품별 불량 발생확률
  • 주문량과 수요 변화
  • 공정완료 예상시간
  • 납기지연 가능성
  • 재고부족과 과잉 가능성
  • 에너지 수요와 피크 발생 가능성

예측은 미래를 확정하는 것이 아니라 불확실성을 확률이나 구간으로 표현하는 과정이다.

④ 처방적 분석: 무엇을 해야 하는가

예측된 문제에 대응하기 위한 행동을 추천한다.

  • 정비시점과 점검항목 추천
  • 공정조건 변경안 제시
  • 생산순서와 작업배정 변경
  • 자재 발주량과 발주시점 추천
  • 대체설비 또는 대체공정 제안
  • 품질검사 대상과 검사주기 조정

처방 단계에서는 하나의 답보다 여러 대안과 각각의 예상효과를 비교하는 것이 중요하다.

⑤ 최적화: 여러 목표 가운데 어떤 선택이 가장 좋은가

제조운영에는 하나의 목표만 존재하지 않는다.

생산량을 늘리면 에너지 사용과 설비부하가 증가할 수 있다. 재고를 줄이면 긴급주문에 대응하기 어려워지고, 품질을 높이기 위해 공정시간을 늘리면 납기가 늦어질 수 있다.

따라서 최적화는 다음과 같은 여러 목표와 제약조건을 함께 고려해야 한다.

  • 생산량
  • 품질
  • 납기
  • 원가
  • 에너지
  • 재고
  • 설비수명
  • 작업자의 안전
  • 환경규제
  • 고객별 우선순위

최적화의 결과는 절대적으로 가장 좋은 답이라기보다 주어진 목표와 제약조건에서 선택한 해다.

목표함수와 우선순위가 바뀌면 결과도 달라진다.

⑥ 제한적 자율실행: 검증된 범위 안에서 행동한다

AI가 권장안을 제시하는 데 그치지 않고 실행시스템과 연결된다.

  • MES의 작업순서 변경
  • CMMS의 정비작업 생성
  • AGV의 운송경로 조정
  • 검사장비의 검사주기 변경
  • 에너지 설비의 운전조건 조정
  • PLC 또는 제어시스템의 설정값 변경

이 단계에서도 모든 권한을 AI에 부여하는 것은 아니다.

허용범위와 금지조건, 승인규칙, 비상정지 조건을 미리 정의하고 그 안에서만 실행하도록 해야 한다.

제조 AI의 판단은 결국 다음의 방향으로 발전한다.

현상을 보여준다.

↓

이상을 찾는다.

↓

원인을 분석한다.

↓

미래를 예측한다.

↓

대응방안을 추천한다.

↓

여러 대안을 최적화한다.

↓

검증된 범위에서 실행한다.

그러나 모든 제조업무가 반드시 마지막 단계까지 발전해야 하는 것은 아니다.

업무의 위험과 복잡성, 데이터 수준에 따라 적절한 판단단계를 선택해야 한다.

자율화의 목표는 사람을 완전히 제거하는 것이 아니라, 판단과 실행의 배치를 합리적으로 다시 설계하는 것이다.

4. 예측 정확도가 높아도 실행을 맡기기 어려운 이유

AI 모델의 예측 정확도가 95%라고 가정해보자.

수치만 보면 상당히 높은 성능처럼 보인다.

그러나 제조현장에서는 나머지 5%의 오류가 어떤 상황에서 발생하는지가 더 중요할 수 있다.

제품의 외관불량을 일부 놓치는 것과 작업자의 안전에 영향을 주는 설비 이상을 놓치는 것은 결과가 다르다.

잘못된 재고 추천은 비용을 증가시킬 수 있지만, 잘못된 설비제어는 설비 파손과 생산중단, 안전사고로 이어질 수 있다.

따라서 모델의 평균 정확도만으로 실행권한을 결정해서는 안 된다.

다음과 같은 질문이 필요하다.

첫째, 어떤 오류가 더 위험한가

고장을 정상으로 판단하는 오류와 정상을 고장으로 판단하는 오류의 비용은 다르다.

예지보전에서 고장을 놓치면 설비가 갑자기 정지할 수 있다. 반대로 정상설비를 고장으로 판단하면 불필요한 점검과 부품교체가 발생한다.

AI 모델은 단순한 전체 정확도보다 업무에서 중요한 오류를 얼마나 줄였는지 평가해야 한다.

둘째, 학습하지 않은 상황에서 어떻게 행동하는가

새로운 제품이나 원재료가 투입되거나 설비가 개조되면 기존 데이터와 다른 조건이 만들어진다.

계절과 작업자, 생산속도, 부품마모 상태가 달라져도 데이터 분포가 변할 수 있다.

AI가 학습하지 않은 조건에서 자신 있게 잘못된 답을 제시하면 위험하다.

판단하기 어려운 상황을 스스로 식별하고 사람에게 넘길 수 있어야 한다.

셋째, 오류를 되돌릴 수 있는가

잘못된 생산순서는 다시 조정할 수 있지만 이미 가공된 제품의 품질문제는 되돌리기 어렵다.

설비 설정값의 작은 변경은 복원할 수 있지만 고온과 고압의 위험공정에서 잘못된 조작은 즉각적인 사고로 이어질 수 있다.

실행권한은 오류의 가능성뿐만 아니라 결과의 회복 가능성을 함께 고려해야 한다.

넷째, 판단의 근거를 확인할 수 있는가

AI가 공정조건 변경을 추천했다면 어떤 데이터와 규칙, 과거 사례를 근거로 했는지 확인할 수 있어야 한다.

설명이 단순히 보기 좋은 문장으로 제공되는 것만으로는 충분하지 않다.

사용한 데이터와 모델버전, 적용된 제약조건, 예상효과와 불확실성이 추적되어야 한다.

다섯째, 다른 목표에 미치는 영향을 검토했는가

불량률을 낮추기 위해 설비속도를 줄이면 생산량과 납기에 영향을 줄 수 있다.

에너지 사용량을 줄이기 위해 설비를 정지하면 재가동 과정에서 더 많은 손실이 발생할 수도 있다.

AI의 판단은 하나의 KPI 개선이 다른 KPI를 악화시키지 않는지 확인해야 한다.

NIST AI RMF는 AI 시스템이 자율적으로 의사결정을 수행하는 경우와 인간의 판단을 보조하거나 인간에게 결정을 넘기는 경우를 구분하고, 각 역할과 책임을 명확하게 정의할 필요가 있다고 설명한다. 또한 AI 위험을 일회성이 아니라 설계·배포·운영 전 과정에서 지속해서 관리하도록 제안한다. NIST AI Risk Management Framework 1.0

결국 높은 예측 정확도는 자율실행의 필요조건일 수 있지만 충분조건은 아니다.

판단의 위험과 불확실성, 오류의 영향, 복구 가능성까지 검증되어야 실행을 맡길 수 있다.

5. 제조 AI는 무엇을 함께 고려해야 하는가

제조현장에서 가장 좋은 판단은 특정 KPI 하나를 가장 크게 개선하는 판단이 아니다.

품질과 생산성, 납기, 원가, 안전을 함께 고려해 전체 제조운영에 가장 적합한 결정을 내려야 한다.

예를 들어 긴급주문이 들어왔다고 가정해보자.

납기를 맞추기 위해 생산순서를 변경하면 다음과 같은 영향이 발생할 수 있다.

  • 금형과 치공구 교체 횟수가 증가한다.
  • 원재료 준비순서가 바뀐다.
  • 작업자의 교대와 배치가 달라진다.
  • 다른 고객의 주문이 지연될 수 있다.
  • 설비의 세척과 준비시간이 증가한다.
  • 재공품과 창고 공간이 부족해질 수 있다.
  • 외주공정과 물류일정이 맞지 않을 수 있다.
  • 전력 피크가 증가할 수 있다.

따라서 AI가 생산계획을 판단하려면 주문과 설비능력만 보아서는 안 된다.

자재와 금형, 작업자, 품질, 정비, 물류와 에너지의 조건까지 고려해야 한다.

제조 AI가 판단에 포함해야 하는 요소는 크게 네 가지로 구분할 수 있다.

① 목표

무엇을 개선할 것인지 정한다.

  • 생산량 극대화
  • 납기준수율 향상
  • 불량률 최소화
  • 제조원가 절감
  • 재고 최소화
  • 에너지 사용량 절감
  • 설비수명 연장

목표가 명확하지 않으면 AI가 무엇을 좋은 판단으로 보아야 하는지 결정할 수 없다.

② 제약조건

반드시 지켜야 하는 조건을 정의한다.

  • 설비의 허용 운전범위
  • 제품의 품질규격
  • 작업자의 자격과 근무시간
  • 원재료와 부품의 재고
  • 금형과 공구의 사용 가능 여부
  • 고객 납기와 우선순위
  • 안전과 환경규제
  • 유지보수와 교정 일정

제약조건을 고려하지 않은 최적화 결과는 수학적으로는 가능해 보여도 현장에서는 실행할 수 없다.

③ 영향범위

판단이 어느 업무와 시스템에 영향을 주는지 확인한다.

공정조건의 변경은 품질뿐 아니라 생산속도와 설비수명에 영향을 줄 수 있다.

생산계획 변경은 자재구매와 창고, 물류, 외주업체 일정까지 바꿀 수 있다.

④ 불확실성

예측결과가 얼마나 확실한지 표현해야 한다.

AI가 고장시점을 하루 단위로 단정하는 것보다,

“현재 조건에서는 7일 이내 고장 가능성이 70%이며, 설비부하가 증가하면 위험이 더 높아질 수 있다.”

와 같이 확률과 조건을 함께 제시하는 것이 현실적인 판단에 도움이 된다.

AI는 항상 하나의 정답을 찾는 기계가 아니다.

서로 충돌하는 목표와 제한된 자원, 불완전한 데이터 안에서 가능한 대안을 비교하는 도구다.

따라서 좋은 제조 AI는 답만 제시하지 않는다.

어떤 목표와 조건을 적용했으며, 다른 대안과 비교해 왜 이 선택이 적절한지를 함께 설명해야 한다.

6. 생성형 AI와 AI 에이전트는 제조현장에서 무엇을 판단할 수 있는가

생성형 AI는 제조현장의 다양한 문서와 데이터를 자연어로 검색하고 설명하는 데 강점이 있다.

작업표준서와 설비매뉴얼, 품질기준, 정비이력, 과거 문제해결 보고서를 연결하면 작업자의 질문에 필요한 정보를 찾아줄 수 있다.

예를 들면 다음과 같다.

“사출기 3호기에서 압력 편차 알람이 반복되는 원인을 알려줘.”

“이 불량유형과 관련된 과거 조치사례를 찾아줘.”

“현재 설비상태를 기준으로 점검항목을 순서대로 정리해줘.”

“긴급주문을 반영한 생산계획 변경안을 비교해줘.”

생성형 AI는 정형데이터와 비정형문서를 연결하고 사람이 이해하기 쉬운 설명을 만드는 인터페이스로 활용할 수 있다.

AI 에이전트는 여기서 한 단계 더 나아간다.

단순히 답을 생성하는 것이 아니라 목표를 달성하기 위해 필요한 데이터와 도구를 선택하고 여러 작업을 순차적으로 수행할 수 있다.

예를 들어 정비지원 에이전트는 다음과 같은 흐름을 수행할 수 있다.

이상 알람 확인

↓

센서 추세와 설비이력 조회

↓

매뉴얼과 과거 고장사례 검색

↓

원인 후보와 점검순서 작성

↓

부품재고와 정비인력 확인

↓

정비시점 추천

↓

승인 후 CMMS 작업지시 생성

이러한 방식은 현장업무의 탐색과 정리, 조정을 줄이는 데 도움이 된다.

그러나 생성형 AI와 AI 에이전트의 답변이 곧바로 제조 제어의 근거가 되어서는 안 된다.

생성형 AI는 실제 데이터에 근거하지 않은 내용을 그럴듯하게 생성할 수 있다. 오래된 작업표준이나 다른 설비의 매뉴얼을 잘못 적용할 가능성도 있다.

또한 AI 에이전트가 여러 시스템에 접근할수록 잘못된 판단이 생산계획과 자재발주, 정비작업, 설비운영으로 확산될 수 있다.

따라서 제조 AI 에이전트에는 다음과 같은 통제가 필요하다.

  • 허용된 데이터와 시스템만 접근한다.
  • 사용한 자료와 데이터의 출처를 표시한다.
  • 최신 문서와 승인된 표준만 사용한다.
  • 작업자별 권한과 동일하거나 더 엄격한 권한을 적용한다.
  • 실행 전 업무규칙과 제약조건을 검증한다.
  • 중요한 변경은 사람의 승인을 받는다.
  • 모든 조회와 판단, 실행과정을 기록한다.
  • 이상행동이 발생하면 즉시 중단할 수 있어야 한다.
  • 실행 후 결과를 확인하고 필요하면 이전 상태로 복원한다.

AI 에이전트의 가치는 사람처럼 말하는 데 있지 않다.

제조 데이터와 지식을 이용해 여러 시스템의 업무를 연결하되, 통제된 범위 안에서 실행할 수 있다는 데 있다.

7. 사람의 승인은 어디에 남겨야 하는가

자율제조에서 사람의 개입을 모두 제거하는 것이 항상 좋은 것은 아니다.

AI가 반복적이고 명확한 판단을 담당하고, 사람은 불확실성과 위험이 높은 판단을 담당하도록 역할을 나누는 것이 현실적이다.

사람의 승인 여부는 업무의 위험수준과 AI의 신뢰도에 따라 구분할 수 있다.

① 정보제공형

AI가 현황과 분석결과를 제공하지만 판단과 실행은 사람이 한다.

예를 들면 다음과 같다.

  • 생산실적 요약
  • 설비 이상 알림
  • 품질변동 분석
  • 과거 유사사례 검색

AI가 잘못된 정보를 제공하더라도 사람이 확인하고 수정할 수 있다.

② 추천형

AI가 가능한 대응안을 제안하고 사람이 선택한다.

  • 정비시점 추천
  • 공정조건 변경안
  • 생산순서 변경안
  • 검사대상 확대
  • 자재 발주량 추천

AI는 예상효과와 위험, 근거를 함께 제시해야 한다.

③ 승인형

AI가 실행계획까지 작성하지만 사람의 승인을 받은 뒤 시스템에 반영한다.

  • MES 작업지시 변경
  • 정비작업 생성
  • 생산계획 재편성
  • 설비 설정값 변경
  • 구매 또는 외주 요청

누가 승인할 수 있는지와 승인기준을 미리 정해야 한다.

④ 감독형

AI가 허용범위 안에서 자동으로 실행하고 사람은 결과와 예외를 감독한다.

  • AGV 경로 조정
  • 공조와 에너지 운전 최적화
  • 검사주기 자동 조정
  • 제한된 범위의 공정조건 보정
  • 소모품 자동 보충 요청

허용범위를 벗어나거나 예상하지 못한 상황이 발생하면 즉시 사람에게 판단을 넘겨야 한다.

⑤ 자율실행형

AI가 인지와 판단, 실행, 결과평가를 수행한다.

이 수준은 충분히 검증된 반복업무와 제한된 운전영역에서 적용할 수 있다.

그러나 사람의 승인이 없다고 해서 사람의 책임과 감독까지 없어지는 것은 아니다.

자동화 수준을 결정할 때는 다음의 기준이 필요하다.

판단 특성권장 운영방식
영향이 작고 쉽게 복구할 수 있음제한적 자동실행
반복적이며 규칙과 허용범위가 명확함사람의 감독 아래 자동실행
품질과 납기에 중대한 영향을 줌실행 전 담당자 승인
안전·환경·법규에 영향을 줌책임자의 명시적 승인과 독립적 보호계층
새로운 제품·설비·조건에 해당함AI 추천 후 전문가 검토
AI의 신뢰도가 낮거나 데이터가 부족함자동실행 금지 및 사람에게 전환

NIST AI RMF는 운영환경에서 AI를 사용하는 조직이 인간과 AI의 역할, 책임 및 감독방식을 명확히 구분할 것을 강조한다. NIST AI RMF의 Human-AI Interaction 지침

핵심은 사람이 모든 판단을 다시 확인하도록 만드는 것이 아니다.

그렇게 하면 AI를 도입하고도 업무가 줄어들지 않는다.

사람은 위험과 예외, 새로운 상황을 담당하고 AI는 검증된 반복판단을 맡아야 한다.

사람의 개입은 AI를 불신하기 위한 절차가 아니라, 판단의 위험에 따라 책임을 배분하는 구조다.

8. AI 판단의 신뢰성은 어떻게 검증해야 하는가

제조 AI를 검증할 때는 모델 개발 당시의 정확도만 확인해서는 안 된다.

실제 운영환경에서 AI가 올바른 데이터를 사용하고, 허용된 조건 안에서 판단하며, 시간이 지나도 성능을 유지하는지 확인해야 한다.

① 데이터 검증

AI가 판단에 사용한 데이터가 신뢰할 수 있는지 확인한다.

  • 센서의 교정상태
  • 데이터의 누락과 이상값
  • 시간과 LOT의 연결
  • 제품과 설비코드의 일치
  • 학습데이터와 운영데이터의 차이
  • 데이터 변경이력과 출처

입력데이터가 잘못되면 모델이 정상적으로 작동해도 판단결과는 잘못될 수 있다.

② 모델 검증

모델이 목표한 문제를 실제로 해결하는지 평가한다.

  • 정확도와 오탐·미탐
  • 제품별·설비별 성능
  • 새로운 조건에서의 일반화 성능
  • 불확실성 추정
  • 데이터 편향
  • 설명 가능성
  • 처리속도와 안정성

평균성능뿐만 아니라 중요한 설비와 제품, 드물지만 위험한 상황에서의 성능을 따로 확인해야 한다.

③ 시스템 검증

AI가 연결된 전체 시스템이 정상적으로 작동하는지 확인한다.

  • 데이터 수집 지연
  • 네트워크 단절
  • 인터페이스 오류
  • 중복 작업지시
  • 잘못된 권한사용
  • 실행결과 미반영
  • 비상정지와 수동전환
  • 장애 후 복구절차

AI 모델이 정확해도 MES나 PLC와의 연결에서 오류가 발생하면 잘못된 실행으로 이어질 수 있다.

④ 운영 검증

실제 제조성과가 개선됐는지 확인한다.

  • 불량률 감소
  • 비계획 정지시간 감소
  • 납기준수율 향상
  • 재고 감소
  • 에너지 사용량 감소
  • 작업자 대응시간 단축
  • 불필요한 경보와 점검 감소

모델의 기술적 성능과 사업성과를 구분해 측정해야 한다.

⑤ 지속적 모니터링

설비와 공정, 제품은 계속 변한다.

모델을 구축할 당시에는 없었던 신제품이 투입되고, 설비부품이 교체되며, 원재료와 생산조건도 달라진다.

따라서 다음의 변화를 지속해서 확인해야 한다.

  • 데이터 분포의 변화
  • 모델 성능의 저하
  • 판단결과의 편향
  • 작업자의 수정과 거부
  • 예상하지 못한 부작용
  • 실행 전후 KPI의 변화
  • 새로운 위험과 예외상황

NIST AI RMF의 측정 지침도 AI 시스템이 목적에 적합하게 작동하는지 평가하고, 허용 가능한 성능범위를 정하며, 오류와 부정적 영향을 지속해서 추적하도록 제안한다. NIST AI RMF Measure 지침

AI 판단에는 다음과 같은 추적정보를 남겨야 한다.

  • 언제 판단했는가
  • 어떤 데이터와 문서를 사용했는가
  • 어떤 모델과 버전을 사용했는가
  • 어떤 원인과 대응안을 제시했는가
  • 판단의 신뢰도는 얼마였는가
  • 누가 실행을 승인했는가
  • 실제로 어떤 조치가 실행됐는가
  • 작업자가 무엇을 수정했는가
  • 실행 전후의 결과는 어떠했는가
  • 예상하지 못한 영향은 없었는가

이 기록은 감사와 책임을 위한 자료이면서 동시에 AI를 개선하기 위한 학습데이터가 된다.

제조 AI의 신뢰는 한 번의 성능시험으로 확보되지 않는다.

판단과 실행, 결과를 지속해서 추적하고 검증하는 운영체계에서 만들어진다.

9. 제조 AI의 판단범위를 현실적으로 확대하는 방법

제조 AI를 도입할 때 처음부터 설비를 자율적으로 제어하려고 하면 위험과 범위가 지나치게 커질 수 있다.

먼저 하나의 제조문제를 선택하고 판단단계를 순차적으로 높이는 것이 현실적이다.

예를 들어 사출성형 공정의 중량불량 감소를 목표로 한다면 다음과 같이 접근할 수 있다.

① 판단대상 정의

“제품 중량 편차가 관리범위를 벗어날 가능성을 조기에 판단한다.”

판단대상을 구체적으로 정하고 대상제품과 설비, 공정범위를 제한한다.

② 기준상태 정의

정상과 이상의 기준을 정한다.

  • 제품별 목표중량과 허용편차
  • 공정조건의 관리범위
  • 측정주기와 검사방식
  • 센서와 측정기의 교정기준
  • 경고와 정지의 기준

③ 이상탐지부터 시작

AI가 중량과 공정조건의 변화를 감지해 작업자에게 알린다.

이 단계에서는 AI가 설비조건을 변경하지 않는다.

④ 원인 후보 제시

금형온도와 사출압력, 보압시간, 원재료 LOT, 설비상태를 분석해 가능한 원인을 순위별로 제시한다.

작업자는 실제 원인과 조치결과를 기록한다.

⑤ 대응안 추천

과거 사례와 작업표준, 공정모델을 바탕으로 변경 가능한 조건을 추천한다.

예를 들면 다음과 같다.

“보압시간을 0.2초 늘리면 중량편차가 감소할 가능성이 높다. 다만 사이클타임은 약 0.2초 증가할 수 있다.”

⑥ 실행 전 검증

추천한 공정조건이 다음의 기준을 만족하는지 확인한다.

  • 설비의 허용범위
  • 제품의 품질규격
  • 금형과 원재료의 적용조건
  • 작업표준과 변경관리 규칙
  • 예상되는 생산량과 에너지 영향

Digital Twin을 이용할 수 있다면 실제 설비에 적용하기 전에 변경결과를 가상환경에서 확인한다. ISO 23247 시리즈는 제조대상의 디지털 트윈을 구성하기 위한 기본원칙과 참조구조, 정보교환 요구사항을 제시한다. ISO 23247-1:2021, ISO 23247-2:2021, ISO 23247-4:2021

⑦ 사람의 승인 후 실행

초기에는 작업자가 추천안을 검토한 뒤 설비조건을 변경한다.

AI의 추천과 작업자의 수정사항, 승인 이유를 모두 기록한다.

⑧ 제한적 자동조정

충분한 사례가 축적되고 효과와 안전성이 검증된 조건에 한해 AI가 좁은 범위에서 자동으로 보정하도록 한다.

예를 들면 보압시간을 표준값의 ±0.2초 안에서만 변경하도록 제한할 수 있다.

⑨ 예외상황에서 사람에게 전환

다음과 같은 조건에서는 자동조정을 중단한다.

  • 신제품이나 신규 원재료 투입
  • 센서의 이상 또는 데이터 누락
  • 허용범위를 벗어난 공정변화
  • 모델의 신뢰도가 기준 이하
  • 여러 품질지표가 동시에 악화
  • 작업자가 수동운전을 요청
  • 안전이나 설비보호 알람 발생

⑩ 다른 제품과 설비로 확대

동일한 조건에서 성능이 확인된 뒤 유사 제품과 설비에 적용한다.

새로운 제품과 설비에 적용할 때는 기존 모델을 그대로 사용하지 않고 별도의 검증을 수행한다.

이러한 방식으로 판단범위를 확대하면 AI의 역할은 다음과 같이 발전한다.

알림

↓

설명

↓

예측

↓

추천

↓

승인 후 실행

↓

허용범위 내 자동실행

↓

결과평가와 학습

중요한 것은 AI에 처음부터 넓은 권한을 주는 것이 아니다.

작은 범위에서 판단과 실행의 성과를 증명하고, 검증된 범위만큼 권한을 확대하는 것이다.

10. 경영진은 AI의 정확도보다 무엇을 확인해야 하는가

제조 AI를 도입할 때 경영진은 모델의 알고리즘을 자세히 이해할 필요는 없다.

그러나 AI의 판단이 어떻게 만들어지고 어디까지 실행되는지는 확인해야 한다.

다음과 같은 질문이 필요하다.

첫째, AI가 해결하려는 제조문제와 판단대상이 명확한가.

AI 도입 자체가 목적이 아니라 불량과 고장, 납기, 재고와 같은 구체적인 문제를 해결해야 한다.

둘째, AI가 판단에 사용하는 데이터와 제조 지식을 신뢰할 수 있는가.

센서 데이터뿐 아니라 제품과 LOT, 설비, 공정조건, 품질결과가 연결되어야 한다.

셋째, AI는 이상만 알리는가, 아니면 원인과 대응방안까지 제시하는가.

현재 AI의 판단단계가 어디까지인지 명확하게 구분해야 한다.

넷째, AI가 고려하는 목표와 제약조건은 무엇인가.

품질과 생산성, 납기, 안전 가운데 어떤 목표를 우선하며 무엇을 반드시 지켜야 하는지 확인해야 한다.

다섯째, AI의 판단근거와 불확실성을 확인할 수 있는가.

결과만 제시하는 것이 아니라 사용한 데이터와 규칙, 신뢰도와 예상영향을 설명할 수 있어야 한다.

여섯째, 어떤 판단은 자동으로 실행되고 어떤 판단은 사람의 승인을 받는가.

업무의 위험수준에 따라 실행권한을 구분하고 승인책임자를 지정해야 한다.

일곱째, AI의 판단을 실행하기 전에 검증할 수 있는가.

업무규칙과 시뮬레이션, Digital Twin을 통해 품질과 안전, 다른 공정에 미치는 영향을 확인해야 한다.

여덟째, AI가 잘못 판단했을 때 중단하고 복구할 수 있는가.

수동전환과 비상정지, 이전 설정값 복원, 장애대응 절차가 준비되어야 한다.

아홉째, AI의 성능을 지속해서 확인하는 책임자가 있는가.

설비와 제품, 데이터가 변경되면 모델의 성능도 달라질 수 있다.

열째, AI의 판단이 실제 제조성과로 이어졌는가.

예측 정확도가 아니라 불량과 정지시간, 납기와 원가가 실제로 개선됐는지 확인해야 한다.

ISA-95는 기업업무와 제조운영·제어시스템 사이의 기능과 정보교환 구조를 정의한다. 2025년 개정된 Part 1도 변화된 산업환경을 반영해 통합을 위한 모델과 용어를 정비했다. AI의 판단을 생산계획과 작업지시, 설비운영에 연결하려면 이러한 시스템 간 역할과 경계를 명확히 해야 한다. ISA-95 표준 개요, ANSI/ISA-95.00.01-2025 개정 안내

경영진이 확인해야 할 것은 AI가 사람보다 똑똑한가가 아니다.

AI가 어떤 판단을 맡고 있으며, 그 판단의 위험과 책임을 조직이 통제하고 있는가이다.

마치며

제조 AI는 센서값에서 이상을 찾는 수준을 넘어 품질과 고장, 수요와 납기를 예측할 수 있다.

과거 사례와 제조 지식을 이용해 원인을 분석하고, 여러 대응방안을 비교하며, 생산계획과 공정조건을 최적화할 수도 있다.

AI 에이전트는 필요한 데이터를 검색하고, 시스템을 연결하며, 승인된 작업을 실행하는 역할까지 수행할 수 있다.

그러나 AI가 기술적으로 수행할 수 있다는 것과 제조기업이 그 판단을 맡겨도 된다는 것은 다른 문제다.

제조현장에는 품질과 생산성, 납기와 원가, 안전과 환경이라는 서로 다른 목표가 존재한다.

판단이 복잡해질수록 하나의 예측 정확도만으로는 의사결정의 품질을 설명할 수 없다.

결국 제조 AI의 판단은 다음과 같이 발전한다.

무엇이 발생했는지 확인한다.

이상과 변화를 감지한다.

왜 발생했는지 분석한다.

앞으로 무엇이 발생할지 예측한다.

가능한 대응방안을 제시한다.

여러 목표와 제약조건을 고려해 최적의 대안을 선택한다.

검증된 범위에서 실행한다.

실행결과를 평가하고 다음 판단을 개선한다.

이 흐름이 연결되어야 제조 AI는 단순한 분석도구에서 의사결정 시스템으로 발전할 수 있다.

그렇다고 모든 판단을 AI에 맡길 필요는 없다.

반복적이고 위험이 낮으며 규칙이 명확한 업무는 AI가 담당할 수 있다. 반면 안전과 품질에 중대한 영향을 주거나 처음 접하는 상황은 사람이 판단해야 한다.

AI가 스스로 판단하지 못하는 상황을 인식하고 사람에게 결정을 넘기는 능력도 자율성의 일부다.

자율제조의 목표는 AI가 모든 것을 결정하는 공장을 만드는 것이 아니다.

AI와 사람이 각자의 강점에 따라 판단하고, 그 판단이 안전하게 실행되며, 결과가 다시 지식으로 축적되는 제조체계를 만드는 것이다.

제조 AI의 경쟁력은 얼마나 많은 답을 내놓는가로 결정되지 않는다.

어떤 상황에서 판단할 수 있고, 언제 판단을 멈추며, 그 결과에 어떻게 책임질 수 있는가.

이 경계를 명확하게 설계하는 것이 제조 AI를 실제 자율제조로 연결하는 핵심이 될 것이다.

다음 글에서는 AI의 판단을 실제 설비에 적용하기 전에 검증할 수 있는 Digital Twin을 살펴보고자 한다.

Digital Twin은 단순히 공장을 3차원으로 보여주는 기술일까. 아니면 AI가 실제 공장을 움직이기 전에 판단의 결과를 시험하는 가상 제조환경일까.

[자율제조 시리즈 ⑥] Digital Twin은 왜 자율제조의 검증환경이 되어야 하는가?

참고자료