테스트의 모든것

KOLAS 공인시험기관이 수행하는 소프트웨어 시험, 특히 ISO/IEC 25024 기반의 데이터 품질 시험에서 성적서의 신뢰성을 담보하는 핵심 요소는 시험 시료의 명확한 식별입니다. ISO/IEC 17025가 요구하는 시험 결과의 유효성, 재현성, 소급성을 보장하기 위해 해시코드(Hash Code)를 기록하는 올바른 기준과 절차를 정리합니다.해시코드 기록의 필수성데이터 품질 숙련도 시험과 내부 시험자 간 비교 시험 모두 해시코드 기록이 원칙적으로 필수입니다.숙련도 시험에서는 운영 기관으로부터 받은 표준 시료가 전송 과정에서 변조되지 않았음을 입증해야 하며, 내부 비교 시험에서는 두 테스터가 완벽히 동일한 버전의 데이터셋을 대상으로 시험했음을 문서로 증명해야 하기 때문입니다. 이는 추후 외부 평가나 감사 ..

버그를 찾는 것보다 리포팅하는 게 더 오래 걸린다면? QA 엔지니어라면 누구나 공감할 '아이러니'입니다. 스크린샷 찍고, 개발자 도구 열어 로그 복사하고, OS 정보 적다 보면 버그 1건당 10분은 훌쩍 지나가죠. 이런 번거로움을 버튼 한 번으로 해결해 주는 스마트한 크롬 확장 프로그램들이 있습니다. 오늘은 대표적인 도구인 Disbug와 ilo Bug Reporter를 전격 비교해 보고, 나에게 맞는 도구는 무엇인지 알아보겠습니다.1. 왜 버그 리포팅 자동화가 필요한가요?전통적인 방식의 리포팅은 다음과 같은 비효율을 발생시킵니다.시간 낭비: 캡처, 복사, 붙여넣기의 단순 반복.정보 누락: 개발자가 꼭 필요한 네트워크 로그나 콘솔 에러를 깜빡하는 경우.일관성 부족: 리포터마다 작성 방식이 달라 가독성이 ..

'바이브 코딩(Vibe Coding)'의 등장은 단순한 도구의 진화를 넘어 소프트웨어 개발 생태계의 근간을 흔들고 있습니다. 자연어로 요구사항을 말하면 AI가 코드를 생성하고, 스스로 테스트를 수행하며, 오류를 발견하면 수정 루프를 반복해 최종 결과물을 내놓습니다. 이 과정에서 인간의 개입은 최소화됩니다. 이러한 기술적 특이점은 신입 개발자와 QA 엔지니어가 더 이상 필요하지 않은 시대를 예고하고 있습니다.1. 신입 개발자의 진입 장벽이 아닌 '진입 소멸'과거 신입 개발자들의 주된 업무였던 보일러플레이트 코드 작성, 단순 API 구현, 라이브러리 연동 등은 이제 AI가 가장 잘하는 영역이 되었습니다. 기업 입장에서는 숙련되지 않은 신입을 채용해 교육 비용을 들일 필요가 없어졌습니다. AI는 지치지 않고 ..

기존의 소프트웨어 테스트(QA)는 철저히 '결정론적'이었습니다. 특정 버튼을 누르면 정해진 화면이 나오고, 1을 입력하면 2가 나오는 식이었죠. 즉, 예상되는 결과와 실제 결과가 정확히 '일치(Exact Match)'하는지를 확인하는 작업이었습니다. 하지만 AI 챗봇의 세계에서는 이 공식이 완전히 무너집니다. 똑같은 질문을 두 번 던져도 AI는 매번 다르게 대답하기 때문입니다. 그래서 AI 봇 테스트는 정답과의 '일치'가 아니라, 상황과 목적에 맞는 '부합(Appropriateness)'을 평가하는 새로운 접근이 필요합니다. 기존 소프트웨어 테스트와 AI 봇 테스트가 결정적으로 다른 5가지 이유는 다음과 같습니다. 1. 정해진 단 하나의 정답이 없다 (비결정적 출력)기존 테스트는 "배송은 3~5일..

최근 링크드인이나 뉴스를 보면 이런 제목들이 넘쳐납니다. "AI가 당신의 일자리를 노리고 있다", "2027년이면 챗GPT가 개발자를 대체할 것이다." IT 업계에서 일하는 많은 전문가들조차 자신이 기계에 밀려날지도 모른다는 두려움을 느끼고 있습니다. 하지만 이 두려움은 정말 합리적일까요? 현업에서 수많은 글로벌 프로젝트를 이끌어온 IT 프로젝트 매니저의 시선과, 그 이면을 바라보는 다른 관점들을 함께 정리해 보았습니다.1. AI의 본질: 생각하는 기계가 아니라 '예측하는 기계' 우리가 두려워하기 전에 먼저 알아야 할 것은 AI의 진짜 모습입니다. 챗GPT나 코파일럿 같은 도구들은 엄청난 양의 데이터를 바탕으로 가장 '통계적으로 그럴듯한' 답변을 내놓는 패턴 인식 기계입니다. AI는 생각하거나 느..

안녕하세요. AI시대에 KOLAS에 대해 알아보려고 합니다.1. KOLAS가 뭐예요? 한마디로: "국가대표 심판 자격증 발급처" 운동 경기에서 심판이 아무나 될 수 없잖아요? 규칙을 완벽하게 알고 공정해야 하죠. KOLAS(코라스)는 한국 정부(국가기술표준원)가 "이 시험기관은 실력이 확실하고, 장비도 좋고, 거짓말 안 하고 공정하게 테스트하는 곳이야"라고 인정(도장 쾅!)해주는 제도예요. 맛집 가이드인 '미슐랭 가이드'와 비슷해요. 미슐랭 별을 받은 식당을 우리가 믿고 가듯이, KOLAS 인정을 받은 시험기관은 "여기서 나온 성적서는 국가가 보증한다"는 뜻입니다. 2. ILAC-MRA 조합마크가 뭐예요? 한마디로: "전 세계 프리패스 여권" KOLAS는 한국 제도잖아요? 그런데 한국에서 받은 시..

안녕하세요. 지난 포스팅에서는 보안 인증서 관련 CSR을 다뤘다면, 오늘은 IT 운영 및 유지보수(SM) 현장에서 매일같이 마주하는 또 다른 CSR(Customer Service Request)에 대해 이야기해보려 합니다. 시스템을 운영하다 보면 현업 사용자로부터 "기능을 수정해 주세요", "데이터가 이상해요"와 같은 변경 요청이 끊임없이 들어오는데, 이것이 바로 CSR입니다. 1. IT 운영에서 CSR이란? 이 문맥에서의 CSR은 '고객 서비스 요청(Customer Service Request)'을 뜻합니다. (조직에 따라 SR: Service Request라고 부르기도 합니다.)시스템의 오류 수정, 기능 개선, 데이터 추출, 단순 문의 등 사용자가 IT 부서에 요구하는 모든 변경 및 지원 사항을 문..

자율주행 기술은 더 이상 먼 미래의 이야기가 아닙니다. 최근 공개된 테슬라의 FSD(Full Self-Driving) 영상이나 포티투닷의 주행 영상을 보면, AI는 이미 복잡한 도심과 터널을 누비고 있습니다. 하지만 기술이 고도화될수록 우리가 던져야 할 질문은 "가능한가?"에서 "안전한가?"로 바뀌어야 합니다. 오늘은 자율주행 AI의 안전을 바라보는 두 가지 뚜렷한 시각, 즉 '극한의 검증 실험'을 강조하는 관점'과 '방대한 실전 데이터'를 중시하는 테슬라의 관점을 비교 분석해 보겠습니다. 1. 사고 나기 전에 흔들어라 (Simulation & Verification)"AI가 어디서 무너지는지 사전에 확인해야 한다"는 것입니다. 사고가 발생한 뒤에 원인을 분석하는 것은 너무 늦습니다. 따라서 이..

2024-2025년 금융 도메인 수주 현황kb증권KB증권 대체거래소(ATS)대응 상시운영검증(25.02-26.02)현대캐피탈현대캐피탈 Digital QA(25.02-25.12)하나증권하나증권 제3자테스트 운영(25.02-26.01)미래에셋증권미래에셋증권 온라인채널 QA 운영(25.01-25.06)우리투자증권우리투자증권 운영 테스트 QA(24.11-25.11)우리카드우리카드 전담반 테스트(24.05-25.05)신한투자증권신한투자증권 테스트 시스템 구축(24.06-25.06)신한은행슈퍼SOL 앱 운영 QA(24.07-25.12)기업은행기업은행 공인인증서 테스트(24.06-24.07)신영증권신영증권 주전산기 U2L 및 클라우드 전환 사업(24.09-25.07)롯데카드롯데카드 커머스 플랫폼 고도화(24.07-2..

KOLAS 인정을 준비하거나 유지 중인 소프트웨어(SW) 시험기관 담당자라면 수많은 규정 문서들 사이에서 혼란스러웠던 경험이 있을 것입니다. 화학, 바이오, 전기 등 타 분야 문서들과 섞여 있어 정작 SW 기관에 꼭 필요한 내용만 골라내기 어렵기 때문입니다. 이번 포스팅에서는 KOLAS 소프트웨어 시험기관이 반드시 숙지해야 할 핵심 문서들을 지침(G), 운영요령(R), 추가기술요건(SR)으로 나누어 정리해 드립니다. 1. 지침(KOLAS-G): 실무 가이드라인 Guide (또는 Guidance) 지침은 국제표준(ISO/IEC 17025)을 어떻게 해석하고 적용해야 하는지 알려주는 해설서입니다.KOLAS-G-005 (ISO/IEC 17025 해설서): 시험기관 운영의 바이블입니다. 모든 적격성 요건의 ..