여기어때 사용자 행동로그 검증으로 보는 데이터 QA 전략

여기어때에서 사용자 행동로그 검증에 접근하는 방식은 매우 실용적이고 효과적입니다. 

프로세스 전반에 관여: 데이터 QA 엔지니어는 단순히 테스트 케이스를 실행하는 역할을 넘어서 프로세스 전반에 관여합니다. 

기획, 개발, 데이터 분석 등 다양한 팀과 협업하여 품질을 높이는데 기여합니다.

행동로그 설계와 품질 보증: 로그 이벤트를 설계할 때 기획자, 개발자, QA가 함께 논의하고 합의합니다. 

이로써 로그 품질을 보장하며, 잠재적인 문제를 사전에 발견하여 예방합니다.

A/B 테스트와 데이터 신뢰성: A/B 테스트를 통해 광고 노출 위치와 매출 지표를 연결하여 신뢰할 수 있는 근거를 제공합니다. 

데이터가 정확하게 수집되지 않으면 잘못된 결정을 할 수 있으므로 이 부분에 특히 주목합니다.

포트폴리오 관점: 데이터 QA 엔지니어로서 경험을 포트폴리오에 담을 때, 프로세스 경험과 구체적인 활동을 보여주는 것이 중요합니다.

특정 업계 앱이 아니더라도 유저/예약/정산/검색과 같은 공통 도메인 경험을 갖추는 것이 좋습니다.

 

 

행동로그 QA의 역할: 데이터 분석, 기획, 엔지니어링 관점을 모두 고려하여 QA를 진행합니다. 로깅은 앱 성능에 영향을 미칠 수 있으며, QA는 이를 확인하고 개발 이슈를 탐지합니다.

 

고객 동의: 사용자 행동로그 수집에 대한 약관 동의를 별도로 받고 있으며, 민감한 정보는 수집하지 않습니다.

 

신뢰할 수 있는 근거: A/B 테스트를 통해 광고 노출 위치와 매출 지표를 연결하여 신뢰할 수 있는 근거를 제공합니다.

 

행동로그 수집 범위: 사용자의 행동 과정 중 모든 정보를 수집하고 있으며, 이를 통해 버그 재현 경로를 추적합니다.

 

QA 업무 준비: QA 엔지니어는 소프트웨어 공학 지식을 공부하며, 프로세스 전반에 걸쳐 역할을 수행합니다.

 

데이터 검증 이후 과정: 수집된 데이터를 분석하여 결정에 활용하고, 앞으로의 방향성을 고민합니다.

 

성능 테스트: 데이터 적재 자체는 서비스에 직접적인 영향을 주지 않기 때문에 성능 테스트는 진행하지 않습니다.

 

자사 QA 준비: QA 설계 전략과 프로세스 전반에 걸친 역할을 공부하시는 것이 중요합니다. 테스트 자동화와 개발 지식도 도움이 됩니다.

 

자잘한 데이터 수집과 부하: 자주 수집하거나 큰 메시지를 처리할 때 부하가 발생할 수 있습니다.

 

데이터 적재 fail과 배포: 실험을 위한 배포나 중요한 feature의 경우 데이터 적재 실패가 배포 불가로 이어질 수 있습니다.

 

로그 개발: 대부분의 사용자 행동로그는 각 화면의 기능 개발자가 개발하며, 이벤트 설계는 별도 팀에서 진행합니다.

 

Postman과 TC 생성: TC 생성 자동화는 Request 기준으로 50개 이하, 내부 Assertion 기준으로 3000건 이하입니다. 부하 때문에 Postman과 newman을 적절히 활용하고 있습니다.

 

스크립트 작성: 개발자 커리어는 없지만 개발 지식을 활용하여 스크립트를 작성하고 있습니다.

 

포트폴리오: 프로세스 경험과 구체적인 활동을 보여주는 포트폴리오가 좋습니다. 특정 업계 앱이 아니어도 괜찮습니다.