테스트 자동화는 QA와 테스트 엔지니어들의 로망인 것 같다. 테스트 자동화를 꾸며주는 화려한 수식어들을 듣고 있노라면, 당장이라도 나를 오아시스로 이끌어 줄 것만 같다. 자동화 버튼 한 번 눌러 두고, 그저 여유롭게 야자수 아래에서 열매나 따 먹으면 될 것 같은 상상을 하게 된다. 내 경험에 비추어보면, 국내에서는 5년 전만 해도, 테스트 자동화는 실패가 당연한 것으로 보였다. 자동화가 돌아간다는 짧은 환희만 맛볼 뿐, 인공호흡기를 늘 붙여 주어야 연명해나가는 것이 테스트 자동화였던 것 같다.
교회를 다니지 않는 사람이라도 다윗과 골리앗의 이야기는 들어 본 적이 있을 것이다. 다윗은 왕의 갑옷을 입고 왕의 칼을 차고 시험 삼아 몇 걸음 걸어보지만, 거추장스러워서 도저히 행동 할 수가 없었다고 한다. 결국 그가 골리앗을 상대할 때 사용한 것은, 그의 손에 늘 있었던 물맷돌이었다. 골리앗과 같은 자동화에 맞서 승리를 약속해준다고 말하는 최신 툴과 플랫폼이 여기저기 많이 있지만, 오랜 시간에 걸쳐 사용하여 내 손에 익숙하지 않다면, 왕의 갑옷과 칼과 같게 되어 결국 몇 걸음 걷지 못하고 주저앉게 되는 듯하다. 이 책은 왕의 갑옷과 칼을 소개하는 책이 아니다. 이 책의 저자들은 스스로 오랜 시간 동안 손에 쥐고 수 없이 사용해 본 자신의 손에 맞는 물맷돌을 소개한다. 어떻게 성공했는지, 어떻게 실패했는지 솔직하게 말해준다. 여기 소개된 스토리들을 그대로 답습하는 것이 성공을 보장하진 않는다. 하지만 인내심을 갖고 내게 맞는 물맷돌을 찾아가는 여정에 있어 도움을 주는 것은 분명하다.
시스템은 더욱 복잡해지고, 서비스를 제공해야 하는 환경은 점점 많아진다. 모바일 환경은 이제 확장 환경 중 하나가 아닌 필수가 되었다. 그렇다고 PC 환경도 놓칠 수는 없다. 이런 환경에서 테스트 커버리지는 개발자가 하든 테스트 엔지니어가 하든 상관없이, 혹은 맨 손으로 하건 자동화를 통해서 하건 상관없이 어느 수준 이상으로 달성해야 한다. 개발 환경에서 애자일 방법은 곧 반복적인 테스트를 말하고 이는 수동으로는 더 이상 감당할 수 없는 상황이다.
이젠, 내 손에 익숙한 무엇인가를 들고 나가야 한다. 그것이 상용 툴일 수도 있고 오픈 소스 툴일 수도 있다. 이미지 기반의 툴이 될 수도 있고, DOM 트리 분석 기반 툴일 수도 있다. 무엇이 가장 좋은지는 누구도 장담할 수 없다. 다만 내 손에 익숙해져서 목표를 향해 던지고 싶을 때 던질 수 있는 물맷돌과 같은 툴이면 된다. 이 책의 사례를 통해, 내 손에 맞는 물맷돌을 찾고 던지는 연습을 시작해야겠다는 용기를 얻을 수 있을 것이다. 그리고 연습을 시작한다면 어느 순간에는 나도 이런 사례를 적게 될 것이다.
소프트웨어 테스트 자동화에 대한 생각이 어느덧 '정말 되는 걸까?'에서 '정말 되는구나'로 바뀌었다. 테스트 자동화는 많은 IT 회사의 목표인 '높은 품질의 빠른 출시'에 점점 더 많은 기여를 하게 되는 듯하다.
이 책의 원서는 2009년에 미국에서 출간됐는데, 그 즈음에는 나 자신조차도 '테스트 자동화'에 대해 부정적이었다. 많은 리소스를 들여 테스트를 만들고 한 번 돌아가는 것에는 환호하지만, 지속적으로 가치를 주는 작업이 되지 못한 채 비용과 리소스만 낭비된 시도들을 많이 봐왔다.
하지만 지금은 다르다. 현재 내가 속한 곳에서도 시간을 들여 실패와 시도를 거듭한 끝에, (갈 길이 멀긴 하지만) 매일 돌아가는 테스트도 꽤 많아졌다. 테스트 자동화를 하면서 부딪히는 예상치 못한 이슈들도 하나 둘 풀어내는 중이다. 이제 재미있는 무엇인가를 할 수 있는 출발선에는 서 있게 된 것 같다.
이 책은 IDT라는 회사에서 소프트웨어 테스트 자동화에 관한 경험과 아이디어/노하우를 정리해 공유해준 책이다. IDT는 주로 미 국방부와 관련된 시스템이 높은 품질로 출시되도록 소프트웨어 테스트 자동화를 적용하고 컨설팅을 해주는 회사다. 정부 기관 중 그것도 국방부와 관련된 시스템에 적용한 결과이고, 출간된 시기도 6년 전쯤이기에, 현 시점에서 볼 때 아주 매력적인 기술이나 방법/도구를 제시하진 않는다. 하지만 미션 크리티컬한 국방 시스템에 실제로 적용한 테스트 자동화의 경험을 최대한 상세히 풀어 설명하기에, 어떻게 성공적으로 테스트 자동화를 구축해나갔는지를 경험할 수 있다.
여기서 제시한 방법이 테스트 자동화 구축의 유일한 길은 아니며, 이 책이 테스트 자동화 구축에서 유일한 바이블은 아니다. 하지만 테스트 자동화를 체계적으로 구축할 때 고려할 사항에 대해 미리 알아두면 좋을 내용은 알차게 담겨 있다. 요구사항을 정하고 전략을 세운 뒤, 이에 맞는 프레임워크를 선정하고 적용한다. 그리고 이를 지속적으로 개선하면서 조직에 맞는 경량 프로세스를 만들어나가는 것이 그 답이다.
내가 속한 조직에 비춰볼 때도 테스트 자동화 기술을 익히고 문제는 풀어나가지만, 큰 그림을 가지고 어떤 체계 안에서 자동화를 성숙하게 만들 것인가는 놓치기 쉬운 것 같다. 그런 측면에서 이 책이 나에게도 도움이 되었다. 마찬가지로, 지속적인 가치를 주는 테스트 자동화 체계를 잡아가기를 원하는 사람이라면 이 책에서 필요한 많은 정보를 얻을 수 있을 것이다.
