AI 기반 QA 자동화
300여 개 테스트 시나리오의 코드를 작성하고, Playwright가 웹브라우저를 자동으로 조작하며 QA를 수행하도록 구성했습니다.
| 항목 | 내용 |
|---|---|
| 대상 | 웹, iOS, Android의 거래 기능 |
| 상황 | QA 전담 인력 없이 같은 기능을 반복 확인 |
| 사용 도구 | Playwright, Trace, Jira |
| 맡은 일 | 300여 개 시나리오 설계와 코드 작성, 자동 실행, 결과 확인과 이슈 등록 |
손으로 확인할 항목이 계속 늘었습니다
주문, 잔고, 거래 내역과 계정 상태를 세 플랫폼에서 확인해야 했습니다. 새 기능을 확인하는 동안 이전에 정상 작동하던 기능에서 문제가 생기는 경우도 있어 수기 테스트만으로는 범위를 감당하기 어려웠습니다.
전부 자동화하지는 않았습니다. 정상 결과가 분명하고 반복되는 검사는 Playwright로 옮겼고, 플랫폼 차이나 예외 처리는 사람이 확인했습니다.
사용자의 행동 순서와 기대 결과를 먼저 적은 뒤 AI로 테스트 코드 초안을 만들었습니다. 실제 환경에서 실행하며 코드를 수정해 300여 개 시나리오를 작성했습니다. Playwright가 웹브라우저를 열고 클릭, 입력, 주문과 화면 확인을 자동으로 수행하도록 구성했습니다. 실패 건은 Trace로 재현해 Jira에 등록했습니다.
시나리오별 통과 여부와 실행 시간, Trace 기록을 한 화면에서 확인한 결과입니다.
Playwright Trace에서 실행 순서, 클릭과 입력, 기대 결과, 화면 상태를 같은 시간축으로 확인한 모습입니다.
수정 전후를 같은 경로로 확인했습니다
개발팀은 설명만 듣는 대신 실패한 단계와 화면을 Trace에서 확인할 수 있었습니다. 배포 뒤에는 같은 테스트를 다시 실행해 수정 여부를 확인했습니다.