셀레늄의 '플레이키(Flaky)' 지옥에서 탈출하기: AI를 활용한 유지보수 제로 테스트 자동화 전략

과거 셀레늄(Selenium) 기반의 테스트 자동화를 운영해 본 분들이라면 누구나 겪는 고충이 있습니다.

 

바로 'UI의 미세한 변경에도 깨져버리는 취약성(Brittle)'입니다.

 

버튼의 ID 하나, 경로(XPath) 하나만 바뀌어도 테스트는 실패하고, 테스터들은 오류의 원인을 찾아 코드를 수정하는 데 업무 시간의 절반 이상을 쏟아야 했습니다.

흔히 말하는 '셀레늄 회피형 오류'나 '플레이키 테스트' 문제를 해결하기 위해 도입되는 AI 기반 테스트는 기존 자동화와 맥락은 비슷해 보이지만, 그 '관리의 차원'은 완전히 다릅니다.

 

1. '경로(Path)' 기반에서 '의도(Intent)' 기반으로의 전환

'경로(Path)' 기반에서 '의도(Intent)' 기반으로의 전환

기존 셀레늄은 "A 경로에 있는 버튼을 눌러"라고 명령합니다. 경로가 바뀌면 죽은 명령이 됩니다.

 

반면 AI 기반 자동화는 "로그인 버튼을 찾아 눌러"라고 명령합니다.

AI의 역할: 화면의 구조(DOM)가 바뀌거나 스타일이 변해도, AI는 시각적 요소와 문맥을 분석하여 '로그인 버튼'의 본질을 찾아냅니다.

회피 전략: 기존에 수동으로 예외 처리를 하던 방식이 이제는 AI의 '셀프 힐링(Self-healing)' 기능으로 자동화됩니다.

2. AI 테스트 관리, 기존 자동화와 무엇이 같은가? (Continuity)

관리의 큰 틀은 기존 자동화의 맥락을 유지합니다.

CI/CD 통합: 코드가 배포될 때 자동으로 테스트가 돌아가야 한다는 점은 동일합니다.

결과 리포팅: 테스트 실패 시 스크린샷을 찍고 로그를 남겨 개발자에게 전달하는 워크플로우는 변하지 않습니다.

데이터 주도 테스트(DDT): 다양한 입력값을 넣어 결과를 확인하는 구조적 틀은 여전히 유효합니다.

3. AI 테스트 관리, 무엇이 결정적으로 다른가? (Innovation)

단순히 도구만 바뀌는 것이 아니라, 관리자의 역할이 바뀝니다.

스크립트 작성에서 '검토(Review)'로: 이제 사람이 코딩하는 시간은 줄어듭니다.

 

대신 AI가 생성한 테스트 시나리오가 비즈니스 요구사항에 맞는지 '검토'하는 능력이 중요해집니다.

프롬프트 라이브러리 관리: 셀레늄 라이브러리 대신, 우리 서비스의 특성을 가장 잘 테스트할 수 있는 '최적의 프롬프트 세트'를 자산으로 관리해야 합니다.

신뢰도(Confidence Score) 모니터링: AI가 "이게 로그인 버튼일 확률은 95%야"라고 판단할 때, 그 판단 근거를 모니터링하고 가이드라인을 조정하는 '메타 관리'가 필요합니다.

 

4. 아웃소싱 업체가 취해야 할 '회피' 전략

UI 변경에 따른 오류 수정을 위해 인력을 투입하던 시대는 끝났습니다.

고부가가치화: "우리는 UI가 매주 바뀌어도 끄떡없는 AI 기반 자동화 파이프라인을 보유하고 있습니다"라고 제안하십시오.

유지보수 비용의 수익화: 기존에 유지보수에 들어가던 인건비를 줄여 마진을 높이고, 대신 그 시간을 더 고도화된 보안/성능 테스트나 SLA 지표 관리에 투입하여 계약의 단가를 높여야 합니다.

 

마치며

셀레늄으로 고생하던 시절의 '오류 대응 경험'은 AI 시대에 아주 훌륭한 자산이 됩니다.

 

어디서 오류가 잘 나는지, 어떤 UI가 취약한지 이미 알고 있기 때문입니다.

 

그 노하우를 이제 AI API와 결합하여 '스스로 오류를 피해 가고, 스스로 코드를 고치는' 차세대 테스트 관리 시스템으로 업그레이드하십시오.

 

그것이 기술 부채를 기술 자산으로 바꾸는 유일한 길입니다.