2 통계조사에서 얼만큼 조사 할 것인지에 따라 두 가지 방법

설문조사 데이터 분석 방법

이제 설문조사 결과를 수집했고 설문조사 데이터 분석 계획도 수립했으므로 데이터를 좀 더 심층적으로 파고 들어가 정리하고 분석할 때입니다.

간편한 설문조사 데이터 분석

온라인 설문조사 결과를 받았습니다. 이제 통계적인 설문조사 결과를 수집했고 데이터 분석 계획도 수립했으므로 확보한 설문조사 결과를 계산하는 절차를 시작할 때입니다. 답변을 살펴보고 핵심적인 연구조사 질문과 설문조사 목표에 초점을 맞추는 것으로부터 통계를 내고 결론을 도출하는 데 이르기까지 SurveyMonkey 설문조사 연구 과학자들은 여기에 설명된 방법으로 정량적 데이터를 파악(또는 정성적 데이터 파악)합니다.

SurveyMonkey로 어떻게 쉽게 결과를 분석할 수 있는지 살펴보세요

다음의 4단계를 따라 설문조사 결과를 더 효과적으로 계산하세요.

  1. 가장 핵심적인 연구조사 질문 살펴보기
  2. 결과 교차분석 및 필터링하기
  3. 통계 수치 계산하기
  4. 결론 도출하기

가장 핵심적인 연구조사 질문 살펴보기

우선, 가장 핵심적인 질문으로부터 확보한 설문조사 결과를 분석하는 방법부터 살펴보겠습니다. 경험적인 연구 질문도 포함시키셨나요? 확률적 표본추출도 고려해 보셨나요? 설문조사 목표를 정했을 때 핵심적인 연구조사 질문에 대한 윤곽도 정했어야 합니다.

예를 들어, 교육 컨퍼런스를 주최하고 참석자들에게 행사 후 피드백 설문조사를 보냈다고 가정하죠. 여기서 가장 핵심적인 연구조사 질문 중 하나는 ‘컨퍼런스에 대한 전반적인 참석자들의 평가’일 것입니다. 참석자들이 행사를 전반적으로 어떻게 평가했습니까? 다음과 같은 특정 설문조사 질문에 대해 수집된 답변을 살펴보면 이 핵심적인 연구조사 질문에 대한 답을 얻을 수 있습니다.

보기
71% 852
아니요 18% 216
확실하지 않음 11% 132
총계 1,200

응답을 살펴보면 백분율(71%, 18%)이 있고 처리되지 않은 수치(852, 216)가 있습니다.

백분율은 특정 답변을 제공한 사람들에 대한 백분율입니다. 이를 다른 말로 설명하면 백분율은 곧 각 답변을 제공한 사람들의 수를 해당 질문에 답변을 제공한 사람들의 수에 대한 비율로서 나타내는 것입니다. 이 표에서는 설문조사 응답자의 71%(설문조사 대상 1,200명 중 852명)가 내년에 다시 참석할 의향을 나타내고 있습니다.

18%의 사람들은 다시 참석할 의향이 없고 11%는 아직 결정하지 않았음을 보여줍니다.

결과 교차분석 및 필터링하기

설문조사 목표를 정하고 분석 계획을 개발했을 때 어떤 하위 그룹을 분석하고 비교할 것인지에 대해 생각해 두셨던 것을 기억하시나요? 예를 들어, 내년에 열릴 컨퍼런스에 대한 질문에 교사, 학생 및 행정인들의 답변을 서로 비교한다고 가정하죠. 이를 알아내기 위해 컨퍼런스 질문에 대한 결과를 하위 그룹별로 나타낼 수 있는 교차분석을 통해 응답률을 살펴볼 수 있습니다.

아니요 확실하지 않음 총계
교사 80%
320
7%
28
13%
52
400
행정인 46%
184
40%
160
14%
56
400
학생 86%
344
8%
32
6%
24
400
총 응답자 수 852 216 132 1,200

이 표를 미루어 보아 학생 및 교사들의 대부분(각각 86% 및 80%)이 내년에 다시 참석할 계획임을 알 수 있습니다. 하지만 이와는 달리, 올해 컨퍼런스에 참석했던 행정인들 중 절반에 미치지 못하는(46%) 행정인들이 내년에 참석할 계획임을 보여주고 있습니다! 다른 질문들을 통해 어째서 이런 현상이 벌어졌는지를 알아보고 행정인들을 위해 컨퍼런스를 개선하여 내년에 더 많은 행정인들이 다시 참석하도록 할 수 있습니다.

필터는 데이터 모형화에 사용할 수 있는 또 다른 유용한 도구입니다. 필터링이란 다른 요소들을 모두 제거하고 한 개의 특정 하위 그룹에만 초점을 맞추는 것입니다. 즉 하위 그룹들을 서로 비교하는 것이 아니라, 단 한 개의 하위 그룹이 어떻게 답변했는지를 살펴보게 됩니다. 예를 들어, 여성 행정인, 여성 교사, 여학생들을 비교하기 위해 여성(또는 남성)에만 중점을 두어 참석자 유형별 교차분석을 다시 실행할 수 있습니다. 이렇게 결과를 여러 가지 면으로 분석할 때 주의해야 할 점은 필터 또는 교차 분석을 적용할 때마다 표본 크기가 줄어든다는 것입니다. 통계적으로 유의성 있는 결과를 확보하기 위해 표본 크기 계산기를 사용할 수 있습니다.

벤치마크, 동향 및 비교 데이터

컨퍼런스 피드백 설문조사에서 핵심 질문 중 하나가 ‘컨퍼런스에 대해 전반적으로 얼마나 만족’했는지를 묻는 질문이었다고 가정하죠. 여기서 75%의 참석자들이 컨퍼런스에 만족했다고 답변했습니다. 꽤 높은 만족도죠? 하지만 이 수치가 좀 더 의미를 가지도록 하는 것은 어떨까요? 다른 요소와 비교해 보는 것은요? 작년보다 더 나아진 수치인가요, 아니면 더 하락된 수치인가요? 다른 컨퍼런스와 비교했을 때는 어떤가요?

또한, 이 질문을 작년 컨퍼런스 후의 컨퍼런스 피드백 설문조사에서도 물었다고 가정하죠. 이 경우엔 동향 비교를 할 수 있습니다. 여론조사 전문가들이 하나같이 이구동성으로 하는 말은 ‘동향을 알아야 길이 보인다’라는 것입니다.

작년 만족도가 60%였다면 올해에는 15%나 그 수치가 상승했습니다! 만족도를 상승시킨 요인은 무엇일까요? 설문조사의 다른 질문들에서 이에 대한 답변을 찾아볼 수 있습니다.

작년 컨퍼런스 데이터가 없는 경우, 올해가 각 컨퍼런스마다 피드백을 수집하기 시작하는 시점이 됩니다. 이를 벤치마킹이라고 합니다. 벤치마크나 기준치를 수립하고 나면 다음부터는 이러한 수치에 변화가 생겼는지, 어째서 변화가 생겼는지를 알 수 있게 됩니다. 참석자들의 만족도뿐만 아니라 다른 질문들도 벤치마크하여 참석자들이 컨퍼런스에 대해 어떻게 생각하는지 매년 확인할 수 있습니다. 이 방법을 종단적 데이터 분석이라고 합니다.

서로 다른 하위 그룹에 대한 데이터도 추적할 수 있습니다. 예를 들어, 학생과 교사의 만족도는 매년 계속해서 상승되나 행정인들의 만족도는 그렇지 않다고 가정하죠. 이런 경우엔 행정인들이 답변을 제공한 다른 여러 가지 질문들을 연구하여 어째서 행정인들이 다른 참석자들보다 덜 만족해 하는지에 대한 통찰력을 확보할 수 있습니다.

통계 수치 계산하기

다시 참석할 의향이 있다고 밝힌 사람들의 수는 알고 있지만 설문조사로부터 확보한 답변이 얼마나 신뢰성 있으며 향후 의사결정에 확신을 가지고 사용할 수 있는지 어떻게 알 수 있을까요? 데이터 질에 주의를 기울이고 통계적 유의성에 대한 요소를 이해하는 것은 매우 중요합니다.

일상적 대화에서 ‘유의성’이라는 말은 중요하거나 의미가 있다는 뜻으로 사용됩니다. 설문조사 분석이나 통계학에서의 유의성은 ‘정확성에 대한 평가’를 뜻합니다. 바로 여기서 설문조사 작업에 ‘플러스 또는 마이너스’가 사용되기 시작합니다. 구체적으로 말하면 이는 설문조사 결과가 특정 신뢰 수준 내에서 정확성이 있으며 그 정확성이 임의적인 요소로 인한 결론이 아님을 뜻합니다. 부정확한 결과(즉, 통계적 유의성이 없는 결론)를 기반으로 도출한 결론은 위험성을 지닙니다. 모든 통계적 유의성 평가에서 첫 번째로 고려해야 하는 요소는 표본의 대표성입니다. 즉, 설문조사에 포함된 그룹의 사람들이 결론을 도출하고자 하는 대상인 사람들 전체를 얼마나 잘 나타내고 있느냐를 고려하는 것입니다.

설문조사를 완성한 컨퍼런스 참석자들 중 90%가 남성이나 컨퍼런스 참석자들의 15%만이 남성이라면 여기서 결론되는 수치를 확신할 수 없습니다. 연구하고자 하는 인구 집단에 대해 더 많이 알면 알수록 이러한 수치와 설문조사가 일치할 때 설문조사로부터 확보하는 결과에 확신을 가지게 됩니다. 이 예에서 성별로 보자면 남성이 설문조사 응답자의 15%를 차지했다면 문제가 될 일이 없습니다.

설문조사 표본이 이미 파악되어 있는 인구 집단의 무작위 선택 표본이라면 통계적 유의성은 간단한 방법으로 계산될 수 있습니다. 여기서 가장 중요한 요소는 표본 크기입니다. 예를 들어, 컨퍼런스에 참석한 1,000명 중 50명이 설문조사에 응답했다고 가정하죠. 이 50명은 작은 표본 크기로 인해 넓은 오차 한계를 가지게 됩니다. 간단히 말해, 이 결과의 의미는 그다지 신뢰성이 없게 되는 것입니다.

이번엔 설문조사 응답자들에게 컨퍼런스 중 진행된 10개의 세션 중 몇 개에 참석했는지 물었고 다음과 같은 결과를 확보하게 되었다고 가정해 보죠.

1 2 3 4 5 6 7 8 9 10 총계 평균 등급
참석한 세션 수 10%
100
0%
0
0%
0
5%
50
10%
100
26%
280
24%
240
19%
190
5%
50
1%
10
1,000 6.1

여기서는 평균을 분석하고자 합니다. 평균에는 평균값, 중앙값, 최빈값의 세 가지 종류가 있습니다.

위의 표에서 보자면 세션에 참석한 평균 수는 6.1개입니다. 표에 나와 있는 평균은 평균값으로 대부분의 사람들에게 익숙한 종류의 평균입니다. 평균값을 계산하려면 데이터를 모두 합한 후, 더한 수치의 수로 나눕니다. 이 예에서는 100명이 1개의 세션에 참석했고, 50명은 4개, 100명은 5개에 참석했음을 알 수 있습니다. 참석 세션 수와 인원 수 쌍을 서로 곱하고, 이 곱에서 나온 수치를 합하여 총 인원 수로 나눕니다.

중앙값은 평균의 또 다른 종류입니다. 중앙값은 중간에 있는 값, 즉 50% 지점을 뜻합니다. 위의 표에서는 500명이 세션 수의 왼쪽에 있고 다른 500명은 오른쪽에 있는 세션 수를 파악하고자 합니다. 이 경우 중앙값은 세션 6개입니다. 이렇게 하면 데이터에 부정적인 영향을 주는 이상치로부터의 영향을 제거할 수 있습니다.

마지막 종류의 평균은 최빈값입니다. 최빈값은 가장 빈번한 응답입니다. 여기서 최빈값은 6입니다. 왜냐하면 6개의 세션에 참석한 응답 수가 다른 어떠한 참석 세션 수보다도 더 많았기 때문입니다.

다른 종류의 평균인 평균값은 결과가 리커트 척도에 기반하는 경우에도 사용될 수 있습니다.

결론 도출하기

컨퍼런스가 전반적으로 그다지 좋지 않은 평가를 받았다고 가정하죠. 그렇다면 왜 그런 평가를 받게 되었는지 좀 더 심층적으로 살펴보아야 합니다. 데이터를 살펴보면 세션, 수업, 사교 행사, 호텔 등 컨퍼런스의 모든 측면에서 참석자들이 매우 높은 등급을 주었으나 컨퍼런스가 열린 도시를 좋아하지 않았을 수도 있습니다. 예를 들어 겨울철 1월에 가장 추운 도시에서 컨퍼런스가 개최되어 참석자들이 밖으로 나가기에 너무 추웠을 수 있습니다. 바로 이러한 사항이 데이터가 전달하고자 하는 의미입니다. 컨퍼런스 자체는 매우 훌륭했으나 장소 면에서 좋지 않은 선택을 한 것입니다. 이러한 의미로부터 겨울에는 따뜻한 곳에서 컨퍼런스를 개최하는 개선점을 만들 수 있습니다.

SurveyMonkey로 다음 번 설문조사를 분석하세요

부록

설문조사 데이터 수집

설문조사 데이터 수집은 설문조사를 이용하여 특정 응답으로부터 정보를 수집하는 것입니다. 설문조사 데이터 수집은 인터뷰, 포커스 그룹 등을 포함한 다른 데이터 수집 유형을 대체하거나 보완할 수 있습니다. 설문조사로부터 수집된 데이터는 직원 몰입도를 증가시키고, 구매자 행동 유형을 이해하며, 고객 체험을 향상하는 데 이용할 수 있습니다.

종단적 분석

종단적 데이터 분석(흔히 ‘동향 분석‘이라고 함)은 기본적으로 특정 질문에 대해 알게 된 사항들이 시간의 경과에 따라 어떻게 변하는지를 추적하는 것입니다. 일단 벤치마크를 수립하고 나면 수치가 변하는지, 어떻게 변하는지 측정할 수 있습니다. 컨퍼런스에 대한 만족도가 3년 전에는 50%였고, 2년 전에는 55%, 작년에는 65%, 올해는 75%였다고 가정하죠. 이 경우엔 종단적 데이터 분석이 만족도 면에서 계속 상승 추세를 보여주므로 바람직한 변화를 나타내고 있습니다.

상관관계와 인과관계의 차이

인과관계는 한 가지 요소가 다른 요소의 원인이 되는 것이며 상관관계는 두 가지 변수가 함께 움직이지만 서로 영향을 미치거나 서로 다른 변수의 원인이 되지는 않습니다. 예를 들어, 겨울철에 핫초콜릿을 마시고 벙어리 장갑을 끼는 것은 상관관계가 있는 두 가지 변수입니다. 즉, 함께 상승하거나 함께 하락합니다. 하지만 핫초콜릿과 벙어리 장갑이 서로의 원인이 되지는 않으며 둘 다 모두 추운 날씨와 같이 제3의 요소가 그 원인이 됩니다. 추운 날씨는 핫초콜릿 수요와 벙어리 장갑을 끼게 되는 확률을 모두 높입니다. 추운 날씨는 독립 변수이며 핫초콜릿 수요와 벙어리 장갑을 끼게 되는 확률은 종속 변수입니다. 여기서 설명한 컨퍼런스 의견 설문조사에서는 추운 날씨가 컨퍼런스가 열린 도시와 컨퍼런스 전반에서 참석자들의 불만족에 영향을 미쳤습니다. 최종적으로, 설문조사의 변수 간 관계를 더 심층적으로 조사하기 위해 회귀 분석을 실행해야 할 수도 있습니다.

회귀 분석

회귀 분석은 고급 데이터 분석 방법으로 두 가지 이상의 변수들 간의 관계를 연구할 수 있습니다. 회귀 분석에는 여러 가지 종류가 있으며 설문조사 과학자가 선택하는 분석법은 조사하고자 하는 변수에 달려 있습니다. 하지만 모든 종류의 회귀 분석이 가지고 있는 공통점은 종속 변수에 미치는 한 가지 이상의 독립 변수의 영향을 파악한다는 것입니다. 설문조사 데이터 분석을 통해 세션 수, 기조연설자, 또는 사교 행사나 컨퍼런스 장소 등과 같이 컨퍼런스 참석자들의 만족도에 가장 큰 영향을 미치는 요소가 무엇인지를 알아보고자 할 수도 있습니다. 세션 수가 영향을 미쳤나요? 기조연설자였나요? 사교 행사였나요? 아니면 행사 장소였나요? 설문조사 과학자는 여기에서 회귀 분석을 사용하여 컨퍼런스의 서로 다른 이러한 요소들이 전체적인 만족도에 영향을 미쳤는지와 어느 정도로 영향을 미쳤는지를 측정할 수 있습니다.

이러한 측정을 통해 다음 번 컨퍼런스에서는 어떤 면을 개선할 것인지를 알게 됩니다. 예를 들어, 오프닝 세션에 최고의 기조연설자를 고용하기 위해 매우 높은 사례금을 지불했다고 가정하죠. 참석자들이 이 연설자와 컨퍼런스에 전체적으로 높은 점수를 주었습니다. 이 두 가지만을 기반으로 하자면 비싸고 인기 있는 기조연설자를 고용하는 것이 컨퍼런스의 성공을 좌지우지한다고 결론을 내릴 수도 있습니다. 회귀 분석을 사용하여 이러한 결론이 정확한지를 알아볼 수 있습니다. 기조연설자의 인기도가 컨퍼런스 만족도를 결정 짓는 주요 요소였다는 사실을 발견하게 될 수 있습니다. 이런 경우엔, 내년에도 다시 최고의 기조연설자를 고용할 필요가 있습니다. 하지만 회귀 분석에서 참석자들이 연설자를 좋아는 했지만 이 사실이 참석자들의 만족도에 크게 영향을 미치지 않았다는 사실을 알게 되었습니다. 이런 경우엔 기조연설자 고용에 소요한 높은 지출 비용을 다른 곳에 사용해야 할 수 있습니다. 설문조사 데이터가 제시하는 의미를 신중하게 분석함으로써 답변을 사용하여 충분한 정보에 입각한 결정을 내리는 데 큰 도움을 받을 수 있습니다.