AIT-AI Test Training에 대해 알아보니..

AIT-AI Test Training에 대해 알아보았습니다.

 

 

1. 개요

AIT-AI Test Training은 AI 시스템의 품질을 체계적으로 검증하기 위한 사전 검토(pre-release) 단계의 자료입니다.

전통적인 소프트웨어 품질 평가 기법에 더해, AI 모델 고유의 특성과 동적 변화, 데이터 의존성을 고려하여 새롭게 도입된 평가 기준들을 포함하고 있습니다.

이 훈련 프로그램은 AI의 예측 성능뿐 아니라, 시스템 신뢰성, 설명 가능성, 윤리성, 보안 등 다양한 관점에서 AI 시스템을 종합적으로 평가하는 방법을 다룹니다.

 

 

2. AI 기반 시스템의 품질 특성

2.1. 정확성(Accuracy) 및 성능(Performance)

• 정확성: AI 모델이 실제 정답과 얼마나 근접한 결과를 내는지 평가합니다.
  데이터셋의 정밀한 라벨링과 비교검증, 오차 범위 산정을 포함합니다.
• 응답 시간 및 처리 속도: 실시간 또는 대규모 데이터 처리 시 지연 없이 원하는 성능을 유지하는지를 확인합니다.
• 일반화 능력: 다양한 상황이나 데이터 분포 변화에도 안정적으로 동작하는가를 평가합니다.

2.2. 견고성(Robustness) 및 안정성(Reliability)

• 외부 요인에 대한 저항성: 노이즈, 이상치, 또는 악의적인 입력(예: adversarial attack)에 대한 견고함을 테스트합니다.
• 예외 처리: 예상치 못한 입력이나 환경 변화에 대해 시스템이 어떻게 반응하며, 오류를 얼마나 효율적으로 처리하는지 확인합니다.
• 모델 드리프트 관리: 시간이 지남에 따라 데이터의 변화에 따른 성능 저하를 방지하는지, 재학습이나 업데이트 전략이 마련되어 있는지를 평가합니다.

2.3. 설명 가능성(Explainability) 및 투명성(Transparency)

• 알고리즘 해석 가능성: 왜 특정 결과가 도출되었는지, 결정 과정이 어떻게 이루어졌는지에 대한 설명을 사용자나 개발자가 이해할 수 있도록 해야 합니다.
• 모델 내부 로직 공개 수준: 블랙박스 모델의 경우, 가시화 도구나 설명 보조 기법(explainable AI, XAI)을 통해 내부 작동 원리를 설명하는 방안이 마련되어 있는지 평가합니다.
• 신뢰성 있는 피드백 시스템: 사용자가 결과에 대해 질문할 때 명쾌한 해답을 제공할 수 있도록 하는 시스템적 투명성이 확보되어야 합니다.

2.4. 공정성(Fairness) 및 윤리성(Ethics)

• 편향(Bias) 제거: 모델이 특정 집단이나 데이터 편향에 영향을 받지 않고 공정한 성능을 보이는지 검증합니다.
• 윤리적 고려: 결과 사용에 따른 사회적, 법적 문제를 미리 예측하고, 데이터 보호와 개인정보 준수 등 윤리적 측면을 충분히 고려합니다.
• 감사 추적성(Auditability): 모델의 결정 과정에 문제가 발생했을 때, 원인을 추적할 수 있도록 로그 기록, 버전 관리 및 감사 도구가 마련되어 있는지를 확인합니다.

2.5. 보안(Security) 및 개인정보 보호(Privacy)

• 시스템 보안: AI 시스템이 외부 공격(예: 데이터 침해, 모델 탈취 등)을 방어할 수 있는 보안 메커니즘이 구현되어 있는지 평가합니다.
• 데이터 프라이버시: 사용자의 민감 정보를 다루는 경우, 해당 데이터가 안전하게 암호화되고 접근 통제가 이루어지고 있는지를 검토합니다.
• 취약점 평가 및 리스크 관리: 보안 취약점 분석과 모의 해킹 테스트 등을 통해 실제 환경에서 발생할 수 있는 위험을 미리 파악하는 단계가 포함됩니다.

2.6. 유지보수성(Maintainability) 및 확장성(Scalability)

• 업데이트 및 재학습 전략: 모델 성능 향상을 위한 정기적인 업데이트 및 새로운 데이터 반영 체계가 마련되어 있는지를 검증합니다.
• 시스템 확장성: 사용자 수 증가나 데이터 양 확대로 인한 성능 저하 없이 시스템이 확장 가능한 구조로 설계되어 있는지 확인합니다.
• 모듈화 및 인터페이스: 각 구성 요소가 독립적으로 업데이트되거나 교체 가능하도록 모듈화된 구조와 표준 인터페이스가 구현되어 있는지 평가합니다.

 

 

3. 테스트 훈련의 특징 및 필요성

3.1. AI 특유의 동적 특성 대응

• 학습 데이터와 현실 세계 변화: AI 시스템은 학습 데이터에 크게 의존하며, 실제 환경 변화에 민감할 수 있습니다. 훈련 과정에서는 이러한 동적 특성을 충분히 고려하여 지속적인 모니터링과 업데이트 주기를 설정해야 합니다.
• 비정형 데이터 처리: 전통 소프트웨어와 달리, AI는 이미지, 음성, 자연어 등 비정형 데이터를 다루기 때문에 데이터 전처리 및 후처리 단계의 품질 확립이 중요합니다.

3.2. 종합적 평가 체계 마련

• 다양한 품질 지표 통합: 위에서 언급한 여러 품질 특성을 종합적으로 평가할 수 있는 프레임워크가 필요합니다. 이 과정에서 정량적 지표(예: 정확도, 응답 시간)와 정성적 지표(예: 설명 가능성, 윤리성) 모두 고려됩니다.
• 테스트 자동화 및 검증 도구: 반복적으로 테스트를 수행하고, 지속적 통합(CI) 환경 내에서 AI 시스템의 품질을 자동으로 검증하는 도구와 기법이 포함될 수 있습니다.
• 실제 사용 사례 기반 검증: 모의 환경뿐만 아니라 실제 운영 환경과 유사한 조건 하에서의 테스트를 통해, 예상치 못한 문제나 잠재적 위험 요소를 사전에 발견하는 것이 중요합니다.

4. AIT-AI Test Training의 활용 방안

• 개발 단계에서의 품질 보증: AI 모델 및 시스템을 개발하는 초기 단계부터 품질 특성을 반영하여 설계 및 구현을 진행합니다.
• 운영 단계에서의 지속적 모니터링: 운영 중인 시스템의 성능 저하나 예외 상황에 대비해, 주기적인 테스트와 품질 평가를 통해 시스템의 신뢰성을 유지할 수 있습니다.
• 규제 준수 및 인증: 각국의 데이터 보호법, AI 윤리 가이드라인 등을 고려한 품질 특성 평가를 통해, 규제 준수를 입증하는 인증 과정에도 활용될 수 있습니다.
• 사용자 신뢰 구축: 시스템의 투명하고 공정한 작동 원리를 사용자에게 공개함으로써, 사용자의 신뢰를 높이고 AI 시스템에 대한 긍정적 인식을 확보합니다.

 

 

5. 결론 및 향후 전망

[pre-release] AIT-AI Test Training 자료는 AI 기반 시스템의 고품질 확보를 위한 필수적인 평가 기준과 테스트 방법론을 집약한 결과물입니다.

특히 AI 특유의 동적 특성과 데이터 의존성을 감안한 체계적인 품질 검증 절차를 마련함으로써, 개발자와 운영자가 보다 신뢰할 수 있는 AI 시스템을 구축할 수 있도록 돕습니다.

향후 이와 같은 테스트 훈련은 AI 기술이 발전하고 활용 범위가 확대됨에 따라, 지속적으로 업그레이드되고 보완될 필요가 있습니다.

예를 들어, 아래와 같은 추가 요소들을 고려할 수 있습니다:

• 실시간 피드백 루프 및 자기 개선 메커니즘: AI 시스템이 운영 중 발생하는 데이터를 바탕으로 스스로 성능을 개선할 수 있는 방법.
• 사용자 맞춤형 평가 기준: 다양한 도메인(의료, 금융, 제조 등)에서 요구하는 특수한 품질 기준을 반영.
• 국제 표준 및 인증 연계: ISO 25010, IEEE 등 기존 표준과의 연계를 통한 공통 평가 언어 마련.
• AI 윤리 및 법률 변화에 따른 동적 업데이트: 윤리 기준이나 법률 변화에 따라 시스템 평가 항목이 자동으로 업데이트되는 체계.

이와 같이 AIT-AI Test Training은 단순히 하나의 평가 도구를 넘어서, AI 시스템의 전반적인 신뢰성과 지속 가능성을 확보하기 위한 종합적 관리 체계의 중요한 한 부분으로 자리 잡고 있습니다.

더 깊이 있는 정보로 넘어가자면, AI 기반 시스템 개발 및 테스트와 관련된 실제 사례나 최신 연구 동향, 그리고 구체적인 테스트 자동화 도구에 대해서도 살펴볼 수 있습니다.

예를 들어, 실제 금융권에서 사용되는 AI 신용 평가 시스템이나 의료 영상 분석 모델의 테스트 케이스를 통해, 각 품질 특성이 어떻게 구현되고 검증되는지 구체적으로 탐구해보는 것도 큰 도움이 될 것입니다.

 

---

아래는 유튜브 소개 영상입니다.

 

https://www.youtube.com/watch?v=09G7X9PTSQU

 AI 기반 시스템의 품질 특성, 특히 유연성, 적응성, 자율성, 진화에 대해 다룹니다. 

ISO 25010을 기반으로 AI 시스템에 특화된 품질 모델을 제시하며, ISO 25059 표준 개발 현황도 소개합니다. AI 시스템은 예측 불가능한 상황에 대처할 수 있어야 하며, 이를 위해 시스템 자체의 유연성 또는 유지보수자의 적응성이 중요합니다. 

특히, 자기 학습 시스템은 경험을 통해 스스로 개선되지만, 안전 관련 시스템에서는 신뢰성 문제로 인해 사용이 제한적입니다. 

 

이 강의는 AI 시스템의 품질을 이해하고 평가하는 데 필요한 핵심적인 개념을 제공합니다.

1.  AI 시스템 품질 특성과 ISO 표준


스튜어트 리드는 AI 기반 시스템에서 중요한 품질 특성인 유연성, 적응성, 자율성, 진화에 대해 논의할 예정이다.

ISO 25010은 소프트웨어 시스템, 특히 AI 기반 시스템에 적용 가능한 품질 모델을 정의하고 있어 AI 시스템 품질을 고려하기 위한 출발점이다.

모든 품질 특성이 모든 시스템에 적용되는 것은 아니며, 독립형 임베디드 시스템에는 호환성이 필요하지 않을 수 있다

기능성 외에 나머지 품질 특성들은 비기능적 테스트의 기초가 되고, 기능적 특성은 기능적 테스트의 기초가 된다.
ISO 25059는 AI 시스템에 특화된 품질 특성을 다룰 새로운 표준으로, 기존 ISO 25000 시리즈에 추가될 예정이다.

2.  AI 품질 특성: 유연성 및 적응성

AI 시스템의 유연성과 적응성은 새로운 상황에 대처하는 데 관련된 두 가지 주요 특성이다.

유연성은 시스템이 새로운 상황을 스스로 처리할 수 있는 내재적 특성이며, 외부의 도움 없이 작동한다.

반면에 적응성은 시스템을 변경하여 새로운 상황을 효과적으로 관리할 수 있는 용이성에 초점을 맞춘다.

두 특성 모두 시스템이 예기치 못한 운영 환경에 대처해야 하는 상황에서 중요한 역할을 한다.

따라서 시스템이 예상치 못한 상황에 대처할 수 있는 유연함을 갖추거나, 유지보수자가 쉽게 업데이트할 수 있도록 적응할 수 있는 능력을 가져야 한다


3. 자율 학습 시스템의 유연성 및 위험성

시스템이 날씨 조건에 따라 모드를 변화시키려면, 모든 가능한 날씨 변화를 인식하고, 가능한 한 빨리 관련된 변화를 인식해야 한다.

유연성은 자율 학습 시스템에 대해 논의할 때 중요한 요소이다

모든 AI 기반 시스템이 자율 학습을 한다고 믿는 사람들도 있지만, 이는 사실이 아니다.

많은 시스템에서는 기계 학습이 사용되어 안전 평가를 위한 시스템에서는 모델이 구축된 후 안정적으로 운영되도록 배포된다.


유연한 시스템이 항상 안전하게 스스로를 변화시킬 것이라고 믿지 않기 때문에, 자율 학습 시스템은 안전 관련 응용 프로그램에 사용되지 않는다.

그러나 경험에 기반하여 수정 및 개선되는 자율 학습 시스템은 매우 유용한 AI 기반 시스템의 하위 집합이며, 미래에는 더욱 널리 퍼질 가능성이 있다.

자율 학습을 시스템에 통합하는 것은 복잡성을 증가시키므로 시스템의 실패 위험이 높아진다.

따라서 자율 학습 시스템의 사용 결정은 시스템의 내장된 유연성을 통한 성능 개선과 복잡성으로 인한 위험 증가 사이의 절충이다.

4. 상업적 자가 학습 시스템의 활용

상업적 비안전 관련 자가 학습 시스템은 중요한 상황에서도 사용되고 있으며, 자가 학습을 통한 개선 능력이 중요하게 여겨진다.

이러한 시스템의 예로, 금융 시장과 연계된 자가 학습 시스템이 있으며, 이는 시장의 변화에 신속하게 대응해야 한다.


https://www.youtube.com/watch?v=QOlK6ebOarU

유연성(flexibility) 과 자율성(autonomy)을 갖춘 시스템을 구축하기 위한 요구사항 정의에 대해 설명합니다. 

 

유연성을 위해서는 운영 환경 변화의 정도와 시스템이 감당해야 할 노력의 양을 명확히 해야 합니다. 

자율성은 인간의 개입 없이 작동하는 시스템의 능력을 의미하며, AI 기반 시스템에서 흔히 볼 수 있습니다. 

특히 자율 주행차의 자동화 수준을 예시로 들어, 레벨 3부터 레벨 5까지의 자율성 단계를 설명하고 있습니다. 

자율성 요구사항은 시스템이 인간의 개입 없이 얼마나 오래 작동할 수 있는지, 그리고 어떤 조건에서 자율성을 포기하고 인간에게 제어권을 넘겨야 하는지를 기준으로 정의할 수 있습니다. 

궁극적으로, 이 영상은 AI 시스템의 성공적인 구축을 위한 핵심 고려 사항들을 제시합니다.

1. 유연성과 적응성 요구사항 명세의 주요 고려사항
유연성(flexibility) 및 적응성(adaptability) 요구사항을 명확히 하기 위해서는 두 가지 주 고려사항이 필요하다.

운영 환경의 변화 범위를 명시해야 하며, 예를 들어 자율학습 거래 시스템은 시장 변동이 평균 25%인 경우에 대응하도록 설정할 수 있다.

예상되거나 예상치 못한 환경 변화에 대응하기 위해 시스템이 투입할 노력을 명확히 해야 한다.

유연성에서는 시스템 자체가 노력을 투입하지만, 적응성에서는 시스템을 수정하는 데 투입되는 노력이 포함된다.

예시로, 적응성의 경우 센서 업그레이드에 드는 최대 인적 노력을 설정하고, 유연성의 경우 난방 시스템이 새 사용자에 대응하는 최대 시간을 명시할 수 있다.



2.  자율 시스템의 종류와 적용 분야
자율성은 많은 사람들이 AI 기반 시스템과 즉각적으로 연관 지어 생각하는 시스템의 특성이다. 

자율 시스템에는 물리적인 형태의 지능형 로봇과 같은 것들이 있으며, 디지털 형태의 시스템도 포함된다. 

자율 시스템은 교통 분야에서 광범위하게 사용되며, 대표적인 예로 자율주행차, 잠수정, 드론, 승객 셔틀 등이 있다. 

로봇 공학 및 사물인터넷 역시 자율 시스템이 많이 발견되는 분야이며, 로봇 잔디 깎기기와 트랙터가 예시에 해당된다. 



3.  자율 시스템의 정의와 적용 분야
자율 시스템은 제조업, 진공 청소기, 스마트 온도 조절기, 의료 진단, 스마트 건물 및 스마트 도시 등 다양한 분야에 사용되고 있다.

자율성은 정의하기 어려운 개념이며, 자율 시스템은 통상적으로 완전한 자율성을 가지지 않기 때문에 전적인 관리에 대한 제로 감독의 개념은 성립하지 않는다.

본 정의에서는 자율성을 활동 기간을 기준으로 정의하고 있다.

정의에 따르면 인간의 개입 없이 작동 가능하지만, 모든 자율 시스템이 AI를 포함할 필요는 없으며, 나중에 AI 구성 요소의 포함이 유용하다는 것을 보게 될 것이다.



4.  자율주행차의 자동화 수준
자율주행차는 공식적으로 자율적이라고 정의되지 않고, 오히려 다섯 가지 자동화 수준 중 하나로 분류된다. 제일 높은 수준인 5단계가 가장 자율적인 형태에 해당한다. 

4단계의 예로는 정해진 지리적 한계 내에서 작동하는 드라이브리스 택시가 있으며, 탑승자는 주행에 대한 책임이 없다. 그러나 특정 조건이 적용되면 목적지 전에 택시가 안전하게 멈출 수 있다. 

5단계에서는 차량이 목적지만 있으면 어느 곳이든 이동할 수 있으며, 승객이 드라이빙에 개입할 필요가 없다. 이로 인해 탑승자는 이동 중에 잠, 음주, 또는 파티를 할 수 있다. 

3단계에서는 상황에 따라 인간 운전자가 필요한 조건에서 차량이 자율 주행할 수 있으며, 이를 통해 주로 교통 혼잡 상황에서 운전할 수 있다. 

오디는 2019년 3단계 차량을 개발했으나, 독일 규제기관의 승인을 받지 못했다. 반면, 2021년 혼다는 일본 내에서 Legend Sedan 차량의 교통 혼잡 지원 기능에 대한 규제 승인을 받았다. 



5.  자율성 요구사항의 정의
자율성 요구사항은 두 가지 관점에서 명세될 수 있다. 첫 번째는 시스템이 인간의 개입 없이 작동할 수 있는 시간이다. 

두 번째는 시스템이 어떻게 인간 운영자에게 자율성을 다시 양도해야 하는지를 정의하는 것이다. 

이 두 번째 요구사항은 레벨 5 차량에는 필요하지 않지만, 일반 인공지능(GA)이 도달하기 전에는 레벨 5 차량이 가능할 것 같지 않다. 


https://www.youtube.com/watch?v=6iZEhdmU8Hs

일반적인 자율 시스템의 높은 수준 구조를 보여줍니다. 

자율 시스템은 센서 또는 입력 채널을 통해 정보를 수집하고, 수집된 정보를 이해하며, 이 정보를 기반으로 무엇을 할지 결정하고, 액추에이터 또는 출력 채널을 통해 실제 세계와 상호 작용하여 결정을 실행합니다. 

자율 시스템은 AI를 다양한 수준으로 포함할 수 있으며, 복잡한 자율 시스템은 AI를 사용하여 감지, 의사 결정 및 제어의 세 가지 기능을 모두 지원할 수 있습니다. 

시스템 진화는 시스템이 외부 제약 조건에 대응하여 스스로를 개선하는 능력으로 정의되며, 이러한 변화는 시스템의 효율성 또는 효과를 향상시켜야 합니다. 

시스템 진화에 대한 요구 사항은 시스템이 스스로에게 가할 수 있는 변경의 양을 제한해야 하며, 허용되는 변경 수준은 각 관련 특성에 대해 정의되어야 합니다. 

이 슬라이드는 AI 기반 시스템과 관련된 품질 특성, 특히 유연성, 적응성, 자율성 및 진화에 대한 소개를 제공합니다.

1.  자율 시스템의 기본 구성 구조
자율 시스템은 센서나 입력 채널을 통해 정보를 수집하고, 수집된 정보를 해석해야 한다. 

이후 시스템은 수집된 정보를 기반으로 행동을 결정하고, 최종적으로는 제어 구성 요소를 통해 실행에 옮긴다. 

이 과정은 액추에이터나 출력 채널을 통해 실제 세계와 상호작용함으로써 이루어진다. 


2.  자율 시스템에서의 AI 활용 방식
자율 시스템은 AI를 다양한 정도로 포함할 수 있다.

기본적인 온도 조절기와 같은 간단한 자율 시스템에서는 AI가 전혀 사용되지 않는다.

반면, 더 복잡한 자율 시스템은 감지, 의사 결정, 제어의 세 가지 기능을 AI를 통해 지원할 수 있다.

자율주행차의 맥락에서 감지 및 의사 결정은 주로 딥 뉴럴 네트워크 형태의 AI로 구현된다.

그러나 엔진과 브레이크 관리와 같은 제어는 여전히 비-AI 구성 요소로 구현되는 경우가 많다.



3.  자율 시스템의 진화와 자가 학습
자율 시스템의 진화는 외부 제약에 대한 반응으로 시스템이 자신을 개선하는 능력으로 정의된다. 

이러한 변화는 이상적으로 시스템의 효율성과 효과성을 향상시켜야 한다. 

자율 시스템은 유연성과 자가 학습을 통해 진화할 수 있는 가능성을 지닌다. 



4.  자율 학습 시스템의 요구사항과 제약
자율 학습 시스템은 운영 환경의 변화, 예를 들어 기후 변화로부터 학습할 수 있으며, 강화 학습을 통해 자신의 결정과 행동의 영향을 배우기도 한다. 

시스템의 진화를 위한 요구사항은 시스템이 새로운 원치 않는 특성을 나타내지 않도록 제약해야 하며, 시스템의 핵심 요구 사항이 여전히 충족됨을 보장해야 한다. 

이러한 제약은 구체적으로 식별되어야 하며, 각 관련 특성에 대한 허용 가능한 변화의 수준이 정의되어야 한다. 

허용된 진화는 일상적인 인류 가치에 영향을 미치지 않도록 해야 하며, 사람이나 환경, 동물에게 해를 끼치지 않도록 보장해야 한다. 

이러한 요구사항을 명시하는 데 주요한 문제는 인간 가치의 일반적으로 합의된 정의가 없다는 것이다. 예를 들어, 문화에 따라 일부 사람들은 애완동물의 생명을 인간보다 더 소중히 여기는 경향이 있다. 



5.  AI 기반 시스템의 품질 특성
AI 기반 시스템은 유연성, 적응성, 자율성, 진화성과 같은 품질 특성을 가진다고 언급된다. 

이후 윤리에 대한 논의가 이어질 예정이며, 이 세션에서 이러한 특성들을 소개한 배경이 설명된다.