|
|
 |
|
| 웹 애플리케이션의 품질 검사는 웹 테스트로 |
| |
| [ 이병철(IT 테크라이터) 2005/11/07] |
| |
하루가 다르게 복잡해져 가는 소프트웨어들의 품질을 유지한다는 것은 어려운 일이다. 잘 알려진 대형 소프트웨어의 경우, 알려진 문제점만 수 천개에 달하는 경우도 심심치 않게 볼 수 있다. 특히 비즈니스가 복잡해짐에 따라, 점점 더 요구 사항은 복잡해져 가고 문제가 발생할 확률은 높아져만 간다.
이러한 문제들은 제품이 출하되기 전에 최대한 제거되어야 하며, 그를 위해 행하는 작업이 바로 테스트이다. 그렇기 때문에 소프트웨어에 대한 정밀한 테스트는 매우 중요하며, 테스터의 업무를 단순한 반복 작업이라고만 생각 하는 것은 큰 잘못이다.
MS는 비주얼 스튜디오 팀 시스템을 출시하면서 테스트를 위한 기능을 크게 강화하였다. 일단 어떠한 기능들이 포함 되었는지 알아 보자.
테스터를 위한 기능
비주얼 스튜디오 팀 시스템은 기존의 별도로 제공되었거나, 써드파티 업체에 의해 제공되던 기능들을 상당 부분 통합하였다. 모든 테스트는 IDE에 통합 되어 있으며, 기존에 애플리케이션 센터 테스트로 제공되던 로드 테스트는 그 기능이 매우 향상되었다.
제공되는 테스트의 종류는 아래와 같다.
유닛 테스트 : 애플리케이션을 구성하는 메쏘드 수준의 작은 모듈들이 정상적으로 동작하는지를 검사한다. 주로 개발자에 의해 수행된다 (참고 : 고품질의 코드를 위하여 - 유닛테스트).
웹 테스트 : 웹 애플리케이션의 동작을 자동화하여 검사한다. HTTP 통신 내역을 캡처하여 동작을 확인하며, 클라이언트에서 동작하는 스크립트나 UI는 테스트 하지 않는다.
로드 테스트 : 웹 사이트에 많은 부하가 가해 질 경우의 반응을 테스트한다. 스트레스 테스트라고도 불리며, 가상의 많은 사용자를 만들어 서버의 응답을 확인한다.
매뉴얼 테스트 : 자동화하기 어렵거나 사람이 확인해야 하는 과정이 필요할 때 사용한다. 일반적으로 테스터가 테스트 시나리오를 가지고 작업을 수행한다.
범용 (Generic) 테스트 : 범용 테스트는 기존에 사용하던 테스트 프로그램이 있는 경우에 사용되며, 해당 프로그램을 함수로 랩핑(Wrapping)하여 테스트를 진행한다.
순서 있는 테스트 : 위의 여러 테스트 중 필요한 항목을 원하는 순서에 따라 테스트 한다.
비주얼 스튜디오 2003과 비교한다면 상당한 발전이다. 하지만 이러한 환경을 제공하는 첫 번째 버전이어서인지, 아쉬운 부분이 상당히 많기도 하다. 테스터를 위한 기능의 리뷰가 끝나는 시점에서 한번 짚어 보도록 하겠다.
웹 애플리케이션의 동작 확인
우선 웹 애플리케이션을 테스트 하기 위한 기능을 알아 보자. 웹 애플리케이션의 테스트는 상당히 자동화가 잘 되어 있는 분야인데, 기본적으로 모든 서비스 요청과 응답이 HTTP라는 단일 프로토콜을 통하기 때문에 자동화 하기가 쉽다.
테스트 할 웹 프로젝트를 로드 한 후, Test -> New Test를 선택하면 다음과 같은 화면을 볼 수 있다.
 | | 새 테스트의 추가 |
웹 테스트를 선택하고 테스트 명을 입력하면, 브라우저가 실행되면서 동작을 레코딩 한다. 이 시점부터 브라우저에서 일어나는 모든 행동은 기록되어, 테스트에 사용되게 된다. 즉 링크를 클릭하고, 폼에 값을 입력하여 검색을 수행하는 등의 모든 내용이 저장된다.
 | | 웹 테스트의 기록 |
정해진 시나리오에 따라 테스트 할 내용을 수행 한 후 기록을 종료하면, 비주얼 스튜디오의 IDE에 수행한 동작들이 나타나고 실제 테스트를 수행 할 수 있다. 테스트를 수행하면 기록 된 내용대로 서버에 요청을 보내고, 그 결과를 출력하게 된다. 기본적으로 서버의 응답 코드, 응답 시간, 전송된 데이터 양 등의 데이터가 표현된다.
또한 서버로부터 보내진 응답을 IDE에서 브라우저로 볼 수도 있으며, 요청과 응답의 구체적인 헤더 정보를 확인 할 수도 있다.
각 테스트를 수행 하던 중 오류가 발생하면 해당 항목은 붉은 원으로 표시되어 어떠한 오류가 발생 한 것인지 쉽게 알 수 있다. 오류가 파일을 찾을 수 없어서 발생하였는지, 내부 서버 오류가 있었는지, 어떠한 페이지를 열다 발생 한 것인지를 즉각적으로 알 수 있기 때문에 대형 웹사이트 구축 시 나타날 수 있는 여러 문제를 쉽게 발견 할 수 있다.
 | | 웹 테스트 수행 결과 |
추출 규칙
하지만 단순히 페이지가 정상적으로 열렸다는 것 만으로는 정상 동작하는 것이라고 볼 수 없을 수도 있다. 예를 들어 반드시 결과가 나와야 하는 검색을 수행하였는데, 검색 결과가 없다는 페이지가 나올 경우도 있다. 이런 경우 HTTP 상태 코드는 200이 전달 될 것이고, 그 자체로 어떠한 오류가 발생 한 것은 아니지만 기능적으로는 분명히 오류가 있는 것이다.
이러한 문제를 보완하기 위해 비주얼 스튜디오 2005는 추출 규칙(Extraction Rule) 기능을 제공한다. 추출 규칙이란 간단히 말해 서버의 응답에 특정한 조건을 만족하는 것인가를 검사하는 것이다. 중요한 문자열이 출력되어 있는지, 폼 필드에는 특정한 값이 들어 있는지 등을 확인 하여 정상 여부를 판단 할 수 있는 것이다.
 | | 추출 규칙 추가 |
데이터 소스와의 바인딩
하지만, 항상 같은 입력 값을 동일하게 테스트 하는 것에 의구심이 들 수도 있다. 예를 들어 '이순신'이라는 검색어로는 잘 검색이 되지만, '김유신'이라는 검색어로는 데이터가 있음에도 불구하고 검색이 안 될지도 모른다. 그렇다고 해서 모든 가능한 값을 다 한번씩 넣어 보는 것이 가능하지도 않다. 이런 경우에는 어떻게 해야 할까?
이와 같은 다양한 입력에 대한 결과를 테스트하기 위해, 비주얼 스튜디오는 데이터 소스와의 바인딩을 지원한다. 즉 테스트 하기 위한 값들을 데이터 베이스에 저장하고 요청의 폼 필드 값을 해당 데이터 베이스의 컬럼과 바인딩하면, 해당 데이터 베이스의 값을 이용하여 테스트를 수행 하게 된다. 이러한 방식의 테스트를 데이터 기반 테스트 (Data Driven Test)라고 부른다.
이렇듯 비주얼 스튜디오는 웹 애플리케이션의 테스트를 위한 다양한 기능을 제공한다. 그 중에서도 가장 큰 장점을 꼽으라고 한다면 역시 자동화를 꼽을 수 있을 것이다. 이렇게 작성된 웹 테스트는 테스트 매니저를 통해 관리되고, 필요하다면 매일 밤 자동으로 검사하도록 설정 할 수도 있다. 즉 한 번만 테스트를 잘 만들어 두면, 웹 애플리케이션 동작에 대한 재귀 테스트를 얼마든지 반복하여 자동으로 수행 할 수 있는 것이다.
하지만 테스터는 자동화 된 웹 테스트의 한계점을 명확하게 알고 있어야 할 것이다. 현재의 웹 테스트는 웹 클라이언트의 동작에 대해서는 전혀 테스트 해 주질 못한다. 즉 자바 스크립트에 문제가 있거나, UI가 사용하기 불편하거나, 컨텐트의 내용이 잘못 되었거나 하는 경우는 전혀 검증 해 주지 못한다. 또한 ActiveX 컴포넌트를 사용하는데, 이 컴포넌트가 HTTP와는 무관한 프로토콜을 사용 할 경우, 해당 기능은 정상적인 테스트가 진행 되지 못한다는 것도 기억 해 두어야 한다.
테스트 케이스 관리가 아쉽다
지금까지 비주얼 스튜디오 팀 시스템의 웹 테스트에 대해 살펴 보았는데, 문제가 하나 보인다. 어떠한 기능들이 테스트 되어야 하는지 어떻게 알 수 있는가? 그리고 웹 테스트를 위한 시나리오를 무엇을 참조하여 만들 것인가? 작은 사이트라면 이러한 의문이 문제가 되지 않을 수 있다. 하지만 많은 사람들이 동시에 참여하는 대형 프로젝트의 경우, 이러한 내용들을 정확히 관리하는 것은 매우 중요하다.
즉 테스트 케이스가 관리되어야 하는데, 현재 비주얼 스튜디오 2005에는 테스트 케이스의 관리가 없다. 테스트 매니저를 통해 테스트 리스트의 관리를 제공하기는 하지만, 이는 제대로 된 테스트 케이스 관리라고 볼 수는 없다. 또한 Work Item 관리 역시 테스트 케이스 관리와는 다르다.
테스트 케이스는 애플리케이션의 동작 요구 사항에서 도출되는 내용으로, 어떠한 기능을 수행하면 어떠한 결과가 나와야 한다라는 것을 기술해 놓은 명세표라 할 수 있다. 그러므로 테스트 케이스의 관리는 자연히 요구 사항 관리와 밀접하게 연결된다. 하지만 비주얼 스튜디오 팀 시스템에는 소프트웨어 개발 프로세스 중 요구 사항 분석 부분이 통째로 빠져 있으며, 그로 인해서인지 테스트 케이스의 관리 역시 제대로 지원되고 있지 않다. (매뉴얼 테스트로 어느 정도 보완이 가능하기는 하지만, 이 역시 제대로 된 관리라고는 보기 힘들다)
하지만 오해하지는 마시길 바란다. 비주얼 스튜디오 팀 시스템의 웹 테스트는 웹 응용 프로그램의 테스트를 위한 훌륭한 도구이다. 결과를 검증하기 위한 다양한 기능을 가지고 있고, 테스트를 자동화 할 수 있다는 것은 정말 훌륭하다. 그리고 이렇게 작성 된 웹 테스트를 이용하여 로드 테스트도 수행 할 수 있다. 단 테스트 준비 단계를 위한 기능이 빠져 있는 것이 아쉬울 뿐이다.
지난 10월 27일, 드디어 비주얼 스튜디오 2005의 최종 버전이 MSDN에 공개 되었다. 현재 이 최종 버전의 패키지를 제작중이라고 하며, 이달 말에 정식 출시가 될 예정이다. MSDN에 가입 되어 있는 독자라면 즉시 다운로드가 가능하니 확인 해 보시길 바란다. 일찍 일어나는 새가 먹이를 잡는다는 진부한 말도 있지만, 무엇보다 새로운 제품을 만난다는 것은 흥분되는 일이니 말이다.
필자 이병철님은 IT 분야의 개발자로 개발 툴에 대한 남다른 관심이 높다. 실제 프로젝트에 임해서도 툴에 대한 분석력이 높다는 평가를 받고 있다. |
 |
|
|
 |
 |
|
|
|
