당신은 고양이 분류 앱을 테스트하다가, 고양이 사진으로 잘못 분류된 강아지 사진 샘플 몇 개를 발견했습니다. 사진을 확인해 보니, 고양이와 유사한 귀를 가진 강아지였죠!
Error analysis: Look at dev set examples to evaluate ideas
팀원 한 명은 강아지 사진을 잘 구별하도록 도와주는 서드파티 소프트웨어를 시스템에 통합시키자고 제안했습니다. 이러한 통합은 한달 가량이 걸릴 것이고, 팀원들은 통합 작업에 동의하며 당신의 작업 승인을 기다리고 있습니다. 어떻게 하면 좋을까요?
1개월을 투자해보기 전에, 먼저 시스템 정확도를 개선하는 데 실제로 얼마나 걸릴지 추산해볼 것을 추천합니다. 이 기간을 대략적으로 가늠해 보면, 당신은 서드파티 통합이 1개월 분의 가치를 갖고 있는지, 아니면 다른 작업에 그 시간을 쓰는 것이 나은지 합리적으로 판단할 수 있습니다.
당신은 다음과 같은 것을 할 수 있습니다:
- 시스템이 에러를 낸, 즉 잘못 분류한 100개의 디벨롭먼트 셋 샘플을 수집합니다.
- 오분류 샘플을 한 개씩 직접 확인하면서 강아지 사진이 전체 오분류 샘플 중 얼마만큼의 비중을 갖고 있는지 확인합니다.
오분류된 데이터를 살펴보는 프로세스는 에러 분석(error analysis)이라고 합니다. 위 사례에서, 전체 오분류 샘플 중 강아지 사진 비율이 5% 밖에 안 된다면, 강아지 사진에 대한 알고리즘 성능을 최대한 개선해도 전체 오류의 5%만을 없애는 정도일 겁니다. 즉, 5%는 서드파티 소프트웨어 통합이라는 작업이 기여할 수 있는 최대한의 기여도, “상한선”이 됩니다. 따라서, 시스템이 현재 90%의 정확도와 10%의 에러율을 보이고 있다면 5%의 개선을 통해 최대 90.5%의 정확도를 가지게 될 것임을 의미합니다.
반대로 강아지 사진이 오분류 데이터의 절반이나 차지한다면, 당신은 서드파티 통합 작업이 큰 효과를 거두게 될 것이라고 더 확신할 수 있을 겁니다. 통합 작업으로부터, 10%의 에러가 5% 수준으로 감소하면서 모델 정확도가 90%에서 95%로 상승할 수 있습니다.
이와 같은 단순한 에러 분석을 통해, 당신은 강아지 사진을 위한 서드파티 소프트웨어 통합 작업의 가치를 빠르게 추정할 수 있게 되었습니다. 이 방법은 어떠한 작업이 시간을 투자할 만한 가치가 있는지에 대한 수치적 기반을 제공합니다.
에러 분석은 시도할 만 한 방향성들이 얼마나 가치있는지 수량화하는 데에도 종종 쓰입니다. 저는 이제까지 에러 분석을 수행하는 것을 꺼려하는 엔지니어들을 많이 봐 왔습니다. 사실 아이디어의 가치를 평가하는 것보다는 그냥 뛰어들어서 아이디어를 시도해 보는 것이 더 신나고 재밌게 느껴질 수 있긴 합니다. 하지만 그것은 실수입니다: 에러 분석을 건너 뛰었다면, 당신의 팀 전체가 꼬박 한 달을 투자한 뒤에서야 별로 효과가 없었음을 확인하게 될 지도 모릅니다.
100개의 오류 샘플들을 하나하나 검사하는 건 그렇게 오래 걸리는 작업이 아닙니다. 사진 1장에 1분을 잡아도 2시간 미만의 시간으로 모두 마칠 수 있습니다. 이 2시간은 그러나 팀 전체가 1달 동안 시간을 허비하는 것을 막아줄 수 있을 겁니다.
에러 분석(Error Analysis)
- 에러 분석은 알고리즘이 잘못 분류한 디벨롭먼트 셋의 샘플에 대한 검사 프로세스를 의미합니다.
- 에러 분석을 통해 알고리즘 에러가 발생하는 숨은 원인들을 이해할 수 있습니다.
- 에러 분석은 프로젝트 업무 우선순위 결정에 도움을 주며, 또한 새로운 방향성을 제시해 주기도 합니다.
- 다음 몇 개의 챕터에서 우리는 에러 분석 수행의 best practices를 살펴보게 될 겁니다.
deeplearning.ai를 이끄는 Andrew Ng의 책, MACHINE LEARNING YEARNING은 머신러닝 프로젝트 수행에 있어 반드시 알아야 할 개념과 노하우를 담고 있습니다. 총 58편으로 이루어진 이 책을 1편씩 번역하여 게재합니다.