Chapter 01 애플리케이션 테스트 케이스 설계

1 애플리케이션 테스트 케이스 작성

(1) 소프트웨어 테스트의 이해

1. 개념

테스트란, 요구한 기능, 성능, 사용성, 안정성등을 만족하는지 확인하고 숨어있는 소프트웨어의 결함을 찾아내는 활동

2. 필요성

• 오류 발견 관점 : 프로그램에 잠재된 오류를 발견하고 이를 수정하여 올바른 프로그램을 개발하기 위해 필요함.
• 오류 예방 관점 : 프로그램 실행 전에 동료 검토, 워크스루, 인스펙션 등을 통해 오류를 사전에 발견하는 예방 차원의 필요

• 품질 향상 관점 : 사용자의 요구사항 및 기대수준을 만족하도록 반복적인 테스트를 거쳐 제품의 신뢰도를 향상

  그냥 뭐뭐 있는지만 외우면 될 듯.

3. 테스트의 기본 원칙

1) 원리

• 결함 존재 증명 : 테스트는 결함이 존재함을 밝히는 활동이다.
• 완벽 테스팅은 불가능 : 완벽하게 테스팅하려는 시도는 불필요한 시간과 자원낭비이다.
• 초기 집중 : 조기 테스트 설계시 테스팅 결과를 단시간에 알 수 있고, 테스팅 기간 단축, 재작업을 줄여 개발 기간도 단축 (TDD 의 개념)
• 결함 집중 : 적은 수의 모듈에서 대다수의 결함이 발견됨. (소프트웨어 테스트에서 오류의 80% 는 모듈의 20%에서 발견된다. 파레토 법칙)
• 살충제 패러독스 : 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함. (다른 시각에서의 접근 필요)
• 정황 의존성 : 소프트웨어의 성격에 맞게 테스트 실시, 정황과 비즈니스 도메인에 맞게 테스트를 수행
• 오류-부재의 궤변 : 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼수 없다.

2) 소프트웨어 테스트 프로세스

테스트 계획 -> 테스트 분석 및 디자인 -> 테스트 케이스 및 시나리오 작성 
-> 테스트 수행 -> 테스트 결과 평과 및 리포팅

3) 소프트웨어 테스트 산출물

• 테스트 계획서 : 목적과 범위 정의, 대상 시스템 구조 파악, 수행 절차 등.
• 테스트 베이시스 : 분석, 설계 단계의 논리적인 케이스
• 테스트 케이스 : 입력값 , 실행 조건, 기대 결과
• 테스트 슈트 : 테스트 케이스의 집합
• 테스트 시나리오 : 여러개의 테스트 케이스의 집합
• 테스트 스크립트 : 테스트 케이스의 실행 순서를 작성한 문서
• 테스트 결과서 : 테스트 결과를 정리한 문서

(2) 소프트웨어 테스트 유형

• 정적 테스트 : 리뷰 정적 분석
• 동적 테스트 : 블랙박스 테스트(명세 기반 테스트), 화이트박스 테스트 (구조 기반 테스트)

화이트 박스 테스트

• 구문 커버리지/문장커버리지 : 프로그램 내의 모든 명령문을 적어도 한번 수행하는 커버리지, 조건문 결과와 관계 없이 구문 실행 개수로 계산
• 결정 커버리지/선택커버리지/분기커버리지 : 각 분기의 결정 포인트 내의 전체 조건식이 적어도 한번은 참과 거짓의 결과를 수행하는 테스트 커버리지
• 조건 커버리지 : 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
• 조건/결정 커버리지 : 전체 조건식 뿐만 아니라 개별 조건식도 참 한번, 거짓 한번 결과가 되도록 수행
• 변경 조건/결정 커버리지 : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건 결정 커버리지를 향상시킨 커버리지
• 다중 조건 커버리지 : 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
• 기본경로 커버리지/경로커버리지 : 수행 가능한 모든 경로를 테스트 하는 기법
• 제어흐름 테스트 : 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
• 데이터 흐름 테스트 : 제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법

블랙박스 테스트

• 동등 분할 테스트/동치 분할 테스트/ 균등 분할 테스트/ 동치 클래스 분해 테스트 : 입력 데이터의 영역을 유사한 도메인 별로 유효값/ 무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
• 경곗값 분석 테스트/한계값 테스트 : 경계값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법, 최소값, 최대값 등등…
• 결정 테이블 테스트 : 요구사항의 논리와 발생조건을 테이블 형태로 나열하여 조건과 행위를 모두 조합하여 테스트하는 기법
• 상태 전이 테스트 : 테스트 대상, 시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
• 유스케이스 테스트 : 시스템이 실제 사용되는 유스케이스로 모델링 되어있을 때 프로세스 흐름을 기반으로 테스트 케이스를 실행하는 기법
• 분류 트리 테스트 : 테스트 데이터 값들 간에 최소한 한번씩은 조합하여 테스트
• 원인-결과 그래프 테스트 : 그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스 선정
• 비교 테스트 : 여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해보는 테스트

테스트 시각에 따른 분류

• 검증 (Verification)
  • 소프트웨어 개발과정을 테스트
  • 올바른 제품을 생산하고 있는지
  • 이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단
  • 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지
• 확인 (Validation)
  • 소프트웨어의 결과를 테스트
  • 만들어진 제품이 제대로 동작하는지
  • 최종 사용자 요구 도는 소프트웨어 요구에 적합한지
  • 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

테스트 목적에 따른 분류

• 회복테스트 : 시스템에 고의로 실패를 유도하고 시스템의 정상적 복귀 여부를 테스트함.
• 안전 테스트 : 불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 보안적인 결함을 미리 점검함.
• 성능 테스트 : 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량 반응하는 속도 등을 측정
• 구조 테스트 : 시스템의 논리 경로, 소스코드의 복잡도를 평가
• 회귀 테스트 : 오류를 제거하거나 수정한 시스템에서 그로 인한 새로운 오류가 없는지 반복해서 테스트하는 기법
• 병행 테스트 : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법

성능 테스트의 상세 유형

• 부하 테스트 : 시스템에 부하를 계속 증가시키면서 임계점을 찾는 테스트
• 강도 테스트 : 처리 능력 이상의 부하를 가하여 비정상적인 상황에서의 처리 테스트
• 스파이크 테스트 : 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
• 내구성 테스트 : 오랜시간 동안 시스템에 높은 부하를 가하여 시스템 반응 테스트

(3) 정적 테스트

1) 리뷰 (REVIEW)

결함을 검출하거나 프로젝트의 진행상황을 점검하기 위한 활동

2) 리뷰의 유형

• 동료 검토 : 2~3명이 진행하는 리뷰의 형태
• 인스펙션 : 전문가 팀이 검사
• 워크 스루 : 사전 검토한 후 짧은 시간의 회의로 문제 식별, 대안 조사, 개선 활동 학습 기회를 제공하는 비형식적 검토 기법

워크 스루는 작성자 본인이 회의를 주재하며 기록자 역할도 담당할 수 있다.

3) 정적 분석

• 도구의 지원을 받아 테스트를 수행한다.
• 코딩 표준, 복잡도 측정, 자료흐름 분석 등을 통해 분석한다.

(4) 동적 테스트

화이트 박스 테스트

테스트 커버리지

테스트 커버리진는 테스트 수행정도임.

• 기능 기반 커버리지
• 라인 커버리지
• 코드 커버리지

블랙박스 테스트

1) 동등 분할 테스트

2) 경곗값 분석 테스트

3) 결정 테이블 테스트

4) 상태 전이 테스트

5) 유즈케이스 테스트

경험기반 테스트

직관과 기술능력을 기반으로 수행하는 테스트 기법

• 탐색적 테스트
• 오류추정

(5) 테스트 케이스

입력값, 실행 조건, 예상된 기대값

(6) 테스트 오라클

테스트 오라클은 테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참 값을 입력하여 비교하는 기법이다.

테스트 오라클 종류

• 참 오라클
• 샘플링 오라클
• 휴리스틱 오라클
• 일관성 검사

2 애플리케이션 테스트 시나리오 작성

(1) 테스트 레벨

• 단위 테스트
• 통합 테스트
• 시스템 테스트
• 인수 테스트

CHAPTER 02 애플리케이션 통합 테스트

1 애플리케이션 테스트 수행

(1) 단위 테스트

개념

• 개별적인 모듈을 테스트한다.
• 구현 단계에서 각 모듈을 구현한 후 수행한다.
• 개별적인 모듈에 대해 컴포넌트 테스트를 수행하려면 모듈을 단독으로 실행할 수 있는 테스트 베드라는 환경이 필요하다.

목 객체 생성 프레임워크

• 객체 지향 프로그램에서는 컴포넌트 테스트 수행 시 테스트 되는 메서드는 다른 클래스의 객체에 의존한다.
• 이런 경우 메서드를 고립화하여 테스트하는 것이 불가능하므로, 독립적인 컴포넌트 테스트를 위해서 스텁의 객체지향 버전인 목객체가 필요하다.
• 목 객체는 개발자가 수작업으로 만들거나 목객체 생성 프레임워크를 활용하여 생성할 수 있다.

목 객체 유형

• 더미 객체 : 테스트할 때, 객체만 필요하고 해당 객체의 기능까지는 필요하지 않은 경우에 사용 (더미객체는 정상동작 수행하지 않고 예외 수행)
• 테스트 스텁 : 타모듈의 기능을 단순히 수행하는 도구.
• 테스트 드라이버 : 하위 모듈을 호출하고, 파라미터를 전달하여 수행 후의 결과까지 도출
• 테스트 스파이 : 대상 클래스와 협력하는 클래스로 가는 출력을 검증할 때 사용
• 가짜 객체 : 실제 협력 클래스의 기능을 대체해야할 경우에 사용 (단순하게 구현)

단위 테스트의 원칙

• 단위 테스트는 빠르게 수행되어야 하고, 다른 컴포넌트에 의존하지 않도록 해야한다.
• 테스트를 몇번 실행해도 동일한 결과가 나와야하고, 사람의 개입 없이 테스트가 통과되었는지 알 수 있도록 작성해야 한다.

(2) 통합 테스트

개념

• 소프트웨어 각 모듈간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법이다.
• 단위 테스트가 끝난 모듈 또는 컴포넌트 단위의 프로그램이 설계 단계에서 제시한 애플리케이션과 동일한 구조와 기능으로 구현된 것인지를 확인하는 테스트임.

통합 테스트 수행 방법의 분류

점증적인 방법/ 비점증적인 방법

• 비점증적인 빅뱅 방식은 모든 컴포넌트를 사전에 통합하여 전체 프로그램을 한꺼번에 테스트하는 것을 말함.
• 점증적인 방법은 상향식 통합/ 하향식 통합으로 구부된다.

하향식 통합

1) 하향식 통합의 개념

메인 제어 모듈로 부터 아래 방향으로 제어의 경로를 따라 이동하면서 통합하면서 테스트르 진행함. 깊이우선 혹은 너비우선 방식으로 통합됨.

2) 하향식 통합의 수행단계

1단계 : 메인 제어 모듈은 작성된 프로그램을 사용하고 아직 작성되지 않은 하위 모듈을 제어함.
2단계 : 위에서 아래로 내려오기 때문에 검사 초기 시스템의 구조가 파악되어야 함.
3단계 : 모듈 및 모든 하위 컴포넌트를 대신하여 더미 모듈인 스텁 개발.
4단계 : 깊이-우선 방식 또는 너비-우선 방식에 따라, 하위 모듈인 스텁이 한번에 하나씩 실제 모듈로 대체
5단계 : 각 모듈 또는 컴포넌트를 통합하면서 테스트 수행
6단계 : 테스트가 완료되면 스텁이 실제 모듈 또는 컴포넌트로 작성

참고 깊이우선 방식, 너비우선방식

상향식 통합

최하위 레벨의 모듈 또는 컴포넌트부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 구축과 테스트를 수행함.

1단계 : 하위 레벨의 모듈 또는 컴포넌트들이 하위 모듈의 기능을 수행하는 클러스터로 결합.
2단계 : 상위의 모듈에서 데이터의 입력과 출력을 확인하기 위한 더미 모듈인 드라이버 작성
3단계 : 각 통합된 클러스터 단위 테스트
4단계 : 테스트가 완료되면 각 클러스터들은 프로그램의 위쪽으로 결합되며, 드라이버는 실제 모듈 또는 컴포넌트로 대체

위의 그림 참조

샌드위치 통합

하위 모듈에서부터, 상위 모듈에서 부터 두 개를 병렬적으로 진행함.

(3) 테스트 자동화 도구

개념

테스트 도구를 사용하면 반복적인 테스트 작업을 스크립트 형태로 구현하여 자동화를 시킬 수 있다는 것.

자동화 도구의 유형

1) 정적 분석 도구

• 애플리케이션을 실행하지 않고 분석함.
• 소스코드에 대한 코딩 표준, 코딩 스타일, 복잡도 등을 나타냄
• 소스코드에 대한 이해를 바탕으로 도구를 이요해서 분석하는 것임

2) 테스트 실행 도구

• 테스트를 위해 작성된 스크립트를 실행, 스크립트는 특정 데이터와 테스트 수행 방법을 포함하고 있음.

• 데이터 주도 접근 방식과 키워드 주도 접근방식으로 나뉨

• 데이터 주도 접근 방식 : 테스트 데이터를 스프레드 시트에 저장
• 키워드 주도 접근 방식 : 키워드와 데이터를 저장

3) 성능 테스트 도구

처리량, 응답시간, 경과시간, 자원 사용률에 대해 가상의 사용자를 생성, 테스트를 구행함으로써 성능 목표를 달성하였는지 확인함.

4) 테스트 통제 도구

• 테스트 관리 도구
• 형상 관리 도구
• 결함 추적/관리 도구

테스트 하네스

컴포넌트 및 모듈을 테스트하는 환경의 일부분으로 테스트를 지원하기 위한 코드와 데이터를 말함.

• 드 스슈 케시스록
• 이거 몇번나오냐…
• 테스트 드라이버 : 하위 모듈 호출, 파라미터 전달, 결과 도출까지 (상향식)
• 테스트 스텁 : 제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구 (하향식)
• 테스트 슈트 : 테스트 케이스의 집합
• 테스트 케이스 : 입력값, 실행 조건, 기대 결과 등의 집합
• 테스트 시나리오 : 테스트 되어야할 기능 특징, 상황을 정리한 문서
• 테스트 스크립트 : 자동화된 테스트 실행 절차에 대한 명세
• 목 오브젝트 : 사용자의 행위를 조건부로 사전에 입력해두면, 그 상황에 예정된 행위를 수행하는 객체

2 애플리케이션 테스트 결과 분석

(1) 테스트 결과 분석

소프트웨어 결함

• 오류 : 결함의 원인이 되는 것으로 일반적으로 사람에 의해 생성된 실수
• 결점 : 개발 활동을 수행함에 있어서 시스템이 고장을 이르키게 하며, 오류가 있는 경우 발생하는 현상
• 버그 : 프로그램 오류로 예상치 못한 결과가 나는 현상
• 고장/문제 : 소프트웨어 제품에 포함된 결함이 실행도리 때 발생하는 현상

결함 관리 프로세스

• 결함 관리 계획
• 결함 기록
• 결함 검토
• 결함 수정
• 결함 재확인
• 결함 상태 추적 및 모니터링 활동
• 최종 결함 분석 및 보고서 작성

결함 분석

• 구체화 : 원인을 찾기 위해, 입력값, 테스트 절차, 테스트 환경을 명확히 파악하는 방법
• 고립화 : 입력값, 테스트 절차, 테스트 환경 중 어떤 요소가 결함 발생에 영향을 미치는지 분석하는 방법
• 일반화 : 결함 발생에 영향을 주는 요소를 최대한 일반화 시키는 방법

3 애플링케이션 개선 조치사항 작성

(1) 테스트 커버리지

테스트 커버리지는 주어진 테스트 케이스에 의해 수행된느 테스트 범위를 측정하는 테스트 품질 측정 기준이다.

• 기능 기반 커버리지 : 전체 기능 대비 실제 테스트 진행한 기능의 비율
• 라인 커버리지 : 전체 코드 라인 수 대 테스트 수행한 라인 수
• 코드 커버리지 : 코드 자체가 얼마나 테스트되었는가. (일반적으로 테스트 커버리지라고 하면 코드커버리지임)

(2) 결함 심각도 별 분류

심각도별 분류

• Critical (치명적) : 기능이나 제품의 테스트를 완전히 방해하거나 못하게 하는 결함
• Major (주요) : 기능이 기대와 다르게 동작
• Normal (보통) : 특정 기준을 충족하지 못할 때
• Minor (경미한) : 사용상의 불편함
• Simple (단순) : 사소한 버그

우선순위

• 결정적(Critical)
  • 24시간 안에 즉시 수정
  • 이슈가 발생하면 전체 기능이 동작하지 않음
• 높음(High)
  • 종료 기준에 대한 활동을 위해서 수정되어야 하는 다음 후보임
• 보통(Medium)
  • 실패가 발생했을 때 에러메세지가 출력되지 않는 것과 같은 에러 우선순위
• 낮음(Low)
  • 디자인에 서 일부 강화하거나 사용자 경험을 향상시키기 위한 작은 기능.

CHAPTER 03 애플리케이션 성능 개선

1 애플리케이션 성능 분석

(1) 애플리케이션 성능 점검 개요

애플리케이션 성능 측정 지표

• 처리량
• 응답 시간
• 경과 시간
• 자원 사용률

유형별 성능 분석 도구

• 성능/부하/스트레스 점검 도구
• 모니터링 도구

(2) 애플리케이션 성능 저하 원인

데이터베이스 관련 성능 저하 원인

• 데이터베이스 락
• 불필요한 데이터베이스 페치
• 연결 누수
• 부적절한 커넥션 풀 크기
• 확정(commit)관련

.. 넘어감

(3) 애플리케이션 성능 테스트 프로세스

애플리케이션 성능 테스트 수행절차

• 성능 테스트 도구 설치
• 테스트 환경 설정
• 시나리오 생성
• 성능 테스트 실행 및 모니터링

2 애플리케이션 성능 개선

(1) 소스코드 최적화의 이해

배드 코드

• 외계인 코드
• 스파게티 코드와
• 알 수 없는 변수명
• 로직 중복

베드 코드 유형

• 오염
• 문서부족
• 의미 없는 이름
• 높은 결합도
• 아키텍처 침식

클린 코드

• 가독성
• 단순성
• 의존성 최소
• 중복성 제거
• ㅁ추상화

클린코드 작성 원칙

• 의미 있는 이름
• 간결하고 명확한 주석
• 보기 좋은 배치
• 작은 함수
• 읽기 쉬운 제어흐름
• 오류처리
• 클래스 분할 배치
• 느슨한 결합 기법 적용
• 코딩 형식 기법 적용

리팩토링을 통한 성능 개선

• 유지보수성 향상
• 유연한 시스템
• 생산성 향상
• 품질 향상