평가원 엿보기 - 수능에서의 난이도 조정 방안

이전글 - 평가원 엿보기 - 평가원은 문항을 어떻게 분류할까?

 

 

 

 

 

 

저번글과 마찬가지로 정말 평가원 보고서를 엿봤습니다.

 

난이도 라고하니 예전에 제가 썻던글들이 떠오르는군요

 

 

 네이버 트랜드로 알아보는 '수능 난이도' http://orbi.kr/0003156374

2005-2013 수능,평가원 언어,외국어 난이도 변화 그래프  http://orbi.kr/0003086091

 

 

 

바로 본론으로 들어가면 평가원에서 발행하였던 보고서중  2012학년도 대학수학능력시험 출제 방안에서는 '난이도'를 어떻게 조정하는지(당시 2013입시에서 핵심 키워드는 만점자 1%정책이였습니다.) 언급이 되었습니다.

 

 

 

본문 내용중 일부

 

 

 

 2012학년도 수능의 목표 난이도를 달성하기 위해서는 예년에 비해 더욱 정밀한 난이도 조정 전략을 수립해야 한다.  난이도 조정 전략은 영역/과목에 따라 다소 차이가 있을수 있지만,  여기에서는 모든 영역에서 공통적으로 적용되는 난이도 전략을 중심으로 기술하고자 하며,  이는 크게 세 가지로 구분할 수 있다. 

 

첫째, 출제 본부 입소 전에 정답률 구간별 목표 문항 수를 산정하고,  이를 달성하기위한 출제를 지향하는 전략이다. 이를 위해 먼저 기존의 문항 분석에 사용하던 정답률 구간을 세분하였다. 즉 예전까지는 정답률 구간을 20% 단위로 구분하여 문항 난이도를 분석하였던 것에 비해 금년도부터는 10% 단위로 정답률 구간을 상세화하여 보다 정확한 난이도 조정이 가능하도록 하였다.  그리고 최근 3년간의 수능 결과에 대한 분석을 통해 만점자가 1% 수준일 경우의 정답률 구간별 문항 수를 산정하여 이를 목표로 삼았다.
과거 3년간 수능 자료를 분석하여 피험자의 잠재능력 분포에 큰 변화가 없었음을 확인하였고, 이 잠재능력 분포에서 만점자 1% 수준의 원점수 분포가 나올 수 있는 문항 반응 자료를 생성한 후 이 자료에서 문항 정답률을 계산하였다.  이렇게 귀납적으로 추론한문항 정답률은 역으로 만점자 1% 수준의 원점수 분포를 만들 수 있는 목표치로 이용하였는데 이러한 문항 정답률 예측의 과정을 여러 번 실시함으로써 정답률 구간별 문항수가 반복적으로 얻어짐을 확인하였다.

둘째, 영역별 만점자 1% 수준 달성을 위해서는 난이도 예측력의 강화가 필수적이므로 출제위원과 검토위원을 증원하고, 이들의 정답률 예측 능력을 제고하기 위한 연수를 강화하는 전략이다. 금년 6월 및 9월 모의평가에서는 출제위원의 경우 사전 워크숍 때 정답률 예측 훈련을 실시하고, 출제본부 입소 후에는 정답률을 고려한 팀별 문항 출제 및 자체 검토를 강화하였다.  검토위원의 경우 출제 본부 입소 전 사전 과제로 기출 수능 문항에 대한 정답률을 예측하고 그 근거를 작성하게 한 후 입소 후에 실제 정답률과 비교하고 상호 토론을 통해 문항 정답률에 대한 시각의 차이를 조정하도록 하였다.
 한편 검토위원 개인별 정답률 경향 분석을 위해 사전 과제로 작성해 온 예상 정답률 자료를이용하여 개별 검토위원들에게 자신의 예측값과 실제값의 상관관계 및 예측값의 편향성 (bi as)을 보여 주고 그 차이를 조정하도록 하였다. 이러한 과정을 흐름도로 나타내면 [그림 3]과 같으며, 수능에서도 계속 사용하였다.

 

 

 

 셋째, 6월 및 9월 모의평가 채점결과에 대한 면밀한 분석을 바탕으로 난이도 조정 전략을 지속적으로 수정․보완한다. 2012학년도 수능에서는 2011학년도 수능에 비해 EBS연계체감도 강화 및 영역별 만점자 1% 수준 달성 외에도 일부 교육과정의 변화,  응시 집단 특성의 변화 등 난이도에 영향을 미치는 요인의 변화가 두드러진다. 수리 영역의경우, 교육과정의 변화에 따라 ‘가’ 형에서 선택과목이 없어지고, ‘나’형에 미적분 내용이 추가되었다.  사회 및 과학탐구 영역의 최대 선택과목 수가 4과목에서 3과목으로 축소되 어 응시 집단의 특성이 변화하였다. 이러한 요인들의 영향력이 적지 않을 것으로 예상되기 때문에,  과거의 자료를 이용하여 정답률 구간별 목표 문항수를 산정하였다.  이를 근거로 2012학년도 6월 모의평가를 출제하였으며, 예상과 채점 결과를 분석하여 9월 모의평가를 준비하였다. 6월 및 9월 모의평가 채점 결과에서 영향을 미쳤던 여러 요인들에대한 면밀한 분석을 수행하여 난이도 조정 전략을 지속적으로 정교하게 수정하여 2012 학년도 수능 출제에 대비하였다.

 

 

 

 나.  영역별 난이도 분석 및 조정 방안 
 난이도 조정을 위해 모든 영역/과목에서 공통적으로 적용되는 전략 이외에도 영역/과목의 특성에 따라 구체적인 전략은 다소 차이가 있다.  언어 영역의 경우 지문 중심으로 출제가 되는데, 읽기의 경우 10개의 지문에서 각각 3 ~ 5개 문항이 출제가 된다.  따라서 개별 문항의 난이도도 중요하지만, 지문 단위의 난이도 예측이 매우 중요하다.  지문 단위로 난이도를 예측할 때에는 지문의 길이,  지문 내용의 난이도,  그리고 문항 구성을 중요하게 고려해야 한다. 따라서 언어 영역의 경우 지문 길이의 적정화,  내용이나 제재의 난이도를 고려한 지문의 안배,  문항에 추가된 <보기>와 문항 선택지 길이의 적정화 등 을 고려하여 난이도를 조정할 필요가 있다.

 

 수리 영역의 경우 2012학년도 수능에 2007 개정 교육과정이 처음 적용되었다. 이에 따라 ‘가’형의 심화선택과목(‘미분과 적분’,  ‘확률과 통계’,  ‘이산수학’)이 없어지고 단일 유형의 시험을 치르게 되어 추가된 내용 영역에 대한 난이도 예측 자료가 빈약하고,  ‘가’형에서 선택과목이 없어짐으로 인해 객관식과 단답형 문항의 배열이 변하였다.  즉 교육과정의 변화와 이에 따른 문항 배열의 변화로 인해 과거 수능의 결과보다는 2012학년도 수능 6월 및 9월 모의평가 결과를 가장 비중 있게 참고하고, 부수적으로 2011학년도 전국연합학력평가 결과를 참고하여 난이도 전략을 수립하였다. 

 

 외국어(영어) 영역의 경우 다른 영역과 마찬가지로 작년에 비해 금년의 EBS 연계 교재 수가 감소하였는데,  외국어(영어) 영역의 특성상 그 영향은 다른 영역과 차이가 있다. 

EBS 연계 교재 수의 감소로 연계할 지문의 수도 약 3분의 1이 감소하였고, 이는 상위권수험생들의 변별에 영향을 미칠 것으로 예상된다. 따라서 상위권 수험생들을 변별하기위해서는 1등급 수험생의 정답률에 영향을 미치는 고난도 문항, 예를 들면,  빈칸 추론이 나 문법 문항에 대한 심층적인 분석을 통해 1등급 수험생의 특성을 파악하여 난이도를 조정하였다.  또한 외국어(영어) 영역의 문항은 총 33개의 유형으로 구성되어 있는데, 이러한 유형별 평균 정답률을 분석하고,  이를 토대로 문항 유형별 출제를 통해 난이도를 조정할 필요가 있다.

 

Reference : 성태제, 2012학년도 대학수학능력시험 출제 방안, 한국교육과정평가원 pp16-18 ,2012.12.21

 

 

 

 

위에서 ~문항반응자료를 생성후 정답률을 계산하엿다~ 라고 나오는데 개인적으로 궁금해서 찾아보니 다음과 같은 이론을 의미하는듯 합니다.(교육학 전공자가 있다면 올바르게 조정해주세요)  저도 뭔말인지 잘 모르니 굳이 안읽어보셔도 됩니다.

 

 

 

 문항반응이론에서는 응시 집단의 특성이나 검사에 사용된 문항들의 특성에 좌우되지 않고 학생들의 능력 추정치인 검사점수를 구할 수 있고， 검사 응시 집단의 특성에 좌우되지 않고 각 문항의 특성치들을 구할 수 있다. 즉， 문항마다 고유한 특성이 있어 그런 특성은 문항 분석의 대상이 되는 집단이 달라져도 변하지 않으며(문항모수치 불변성) , 피험자의 능력 또 한 검사문항에 따라 달라지는 것이 아니라 고유한 능력 수준을 갖는다(능력모수치 불변성)는 입장이다.
문항반응이론에서는 피험자의 검사점수를 그가 지니고 있는 지식이나 기 술 등 직접 측정할 수 없는 잠재적 특성(능력)의 측정치로 간주하며， 잠재적 특성의 값은 개인의 관찰 가능한 검사 문항의 점수와 그 기저에 있는 잠재 특성 사이의 어떤 관계를 구체화시킴으로써 추정할 수 있다고 가정한다.
문항반응이론에서는 검사 자료에 대한 몇 가지 특수한 가정에 바탕을 둔 수학적 함수인 문항반응함수(item response function) 를 이용하여 각 검사 문 항에서의 성취도와 능력간의 관계가 구체화된다.
문항반응이론의 연구자들은 문항의 유형에 따라 적절한 문항반응함수를 선택하여 사용할 수 있도록 다양한 함수 모형들을 개발하였다(Hambleton & Swaminathan, 1985). 현재 대학수학능력시험에서와 같이 문항유형이 선택형 이어서 맞고 틀림에 따라 학생의 능력치 추정이 가능한 경우는 3- 모수 로지 스틱 모형여 사용되며 3- 모수 로지스틱 함수는 아래와 같다. 이와 같은 함
수에 의해 생성되는 곡선을 문항특성곡선(item characteristic curve) 이라고 한다.

 

 

 

 

 

문항반응이론에서의 검사점수는 위와 같은 함수에서 추정되는 피험자의 능력추정치인 6 값으로 표현되는 것이 일반적이며， 경우에 따라서는 피험자 의 능력수준 (e 수준)에서 각 문항의 답을 맞힐 확률의 합 (~Pi( e)) 을 계산 하여 검사 점수로 표현하기도 한다.
문항반응이론에서의 피험자 능력 추정치 (θ) 의 척도 (metric) 는 추정(estimation) 상의 편의를 위해 일반적으로 평균이 0 이고 표준편차가 1 인 정상분포를 이룬다고 가정한다. 이런 가정 하에 도출된 6 값은 일반적으로 -3에서 +3 사이의 값을 지니게 된다. 그러나 검사점수의 단위로는 너무 작고 음수 값도 지니게 되므로 활용 용도에 따라 다양하게 변환되어 검사점수로사용된다. 대표적인 예로 미국의 SAT는 문항반응이론에 의한 검사점수를 변환하여 200 점 에 서 800 점 까지 의 점 수분포를 이 루도록 하였다. 문항반응이 론에서의 점수체제는 표준점수와 같이 상대적인 해석이 가능하고 동시에 학생들이 다른 문항으로 시험을 치렀더라도 상호 비교 가능한 점수라는 측면에서 다양하게 활용될 수 있는 검사점수 체제라고 할 수 있다.

 

Reference : 박도순, 대학수학능력시험 결과 보고 및 분석 방안 연구, 한국교육과정평가원 pp23-24, 1998.12

+ 자작 모의고사를 만들어 등급컷을 추정하고자 할 때 위 보고서를 읽으면 도움되는 내용이 분명 있습니다.  

 

더읽어보기

 

2012학년도 대학수학능력시험 출제 방안

 

수준별 시험 도입에 따른 2014학년도 출제 및 시행 체제 구축 방안 [KICE Position Paper 제4권 제4호(통권 제25호) 2012.8.] (ORM 2012-16-4)

 

2014학년도 수능 Q&amp;A 자료집.pdf

 

2014학년도 수능 대비 학습방법안내.pdf

 

2014학년도 수능 이렇게 준비하세요.pdf