템플릿은 토플 점수를 깎을까? 답안 3,692개를 측정했습니다.

답안의 36.2%(3,692개 중 1,337개)가 정형화된 표현으로 시작하며, 55.8%(3,692개 중 2,060개)는 본문 어딘가에 정형 표현을 최소 한 개 포함합니다. 템플릿 사용은 일부의 편법이 아니라 일반적인 행동입니다. 템플릿이 위험 신호라고 말하는 페이지는 응시자 세 명 중 한 명 이상에게 당신의 평범한 글쓰기가 위험 신호라고 말하는 셈입니다.

이 표에서 두 번째로 드러난 사실은, 대비 사이트들이 경고하는 바로 그 표현들을 실제 학습자는 쓰지 않는다는 점입니다. There are several reasons는 3,692개 답안 중 도입부로 두 번 등장합니다. It is widely acknowledged도 두 번입니다. I could not agree more는 0회이며, 이는 사전에 양성 사례로 검증한 탐지기가 내놓은 진짜 0입니다. 실제 템플릿 어휘는 의견 표명 표현이며, 상위 두 표현만으로 전체 도입부의 24%를 차지합니다.

표 1. 정형 표현 15종의 사용 빈도, n = 3,692. 도입부는 답안의 첫 90자 안에서 해당 표현이 일치한 경우입니다.

템플릿으로 시작하는 답안의 평균은 0-30점 만점에 25.198점, 그렇지 않은 답안은 25.158점입니다. 차이는 +0.040점이며 95% 신뢰구간은 -0.119에서 +0.199, t = +0.49입니다. 어느 방향으로도 탐지 가능한 효과가 없습니다.

이 표본 크기에서 검정력 80%, 양측 유의수준 0.05 기준 최소 탐지 가능 효과는 0.232점입니다. 큰 효과를 놓친 검정력 부족한 귀무 결과가 아닙니다. 0.25점 이상의 감점이 있었다면 드러났을 것이고, 드러나지 않았습니다.

반대 방향에서 본 같은 결과

채점기가 템플릿에 불이익을 준다면 고득점 구간에서 템플릿 사용 비율이 낮아야 합니다. 그렇지 않습니다. 고득점자도 전체 코퍼스와 사실상 같은 비율로 템플릿 도입부를 사용합니다.

각 답안에는 0-5점짜리 세부 점수가 세 개 있습니다. 이는 검색 결과들이 주장하는 구체적 기제, 즉 정형화된 표현에 대한 언어 항목 감점을 직접 검증합니다. 템플릿 언어가 정형적이라는 이유로 감지된다면, 관련성은 그대로인 채 언어 사용 점수만 떨어져야 합니다.

표 2. 세부 점수 평균. 각 항목별 템플릿 1,335개, 비템플릿 2,348개입니다.

실제로 관측된 패턴은 그 반대 순서입니다. 언어 사용이 셋 중 가장 변화가 없고, 어느 항목도 음수가 아닙니다. 과대 해석하기 쉬우니 주의해서 읽어야 합니다. 세 차이 모두 양수이지만 세 값 모두 사실상 0입니다. 0.5점 단위로 부여되는 5점 척도에서 0.025점 차이는 채점기가 줄 수 있는 최소 단위의 20분의 1입니다. 템플릿이 도움이 된다는 뜻은 전혀 아닙니다. 주장된 기제가 나타나지 않는다는 뜻입니다.

길이를 통제한 뒤에도 그림은 같습니다. 관련성 beta = +0.029(t = 2.09), 명료성 beta = +0.030(t = 2.17), 언어 사용 beta = +0.018(t = 1.16)입니다. 세 항목을 동시에 검정했으므로 t 값이 2 부근인 것은 한계적 수준으로 읽어야 하며, 효과 크기 자체가 작아 논쟁의 실익이 없습니다.

명백한 대안 설명을 배제해야만 수치가 방어 가능합니다. 다섯 가지를 배제했습니다.

15개 표현 중 9개는 도입부로 30회 이상 등장해 개별 검정이 가능했습니다. 그중 8개는 기준선과 구별되지 않으며, 차이는 -0.08에서 +0.57 사이이고 신뢰구간이 0을 포함하거나 거의 포함합니다. 하나만 다릅니다.

When it comes to로 시작하는 답안(n = 75)의 평균은 23.573점으로, 비템플릿 기준선 25.158점보다 1.585 ± 0.512점 낮습니다. 이 효과는 모든 통제를 견딥니다. 해당 답안들은 기준선보다 길지만(209.8단어 대 161.2단어) 점수는 더 낮아, 길이를 보정하면 격차가 -2.20으로 벌어집니다(SE 0.286, t = -7.7). 56개 서로 다른 문제에 퍼져 있고 한 문제가 기여한 답안은 최대 7개이므로 특정 문제의 문제가 아닙니다. 9개 표현을 검정했지만 본페로니 기준으로도 여유 있게 유의합니다. 이 표현을 처리 집단에서 빼면 주요 대비는 +0.136 ± 0.160이 되며, 여전히 귀무입니다.

표 3. n >= 30인 도입 표현 9종의 표현별 평균. 비템플릿 기준선 25.158점과 비교했습니다.

모집단

LingoLeap 문제 레지스트리에 있는 비레거시 아카데믹 디스커션 문제 전체(1,480개)와 그 대표 샘플 슬러그 전부, 총 3,729개의 서로 다른 슬러그입니다. 아카데믹 디스커션은 2026 포맷 중 실제 코퍼스가 존재하는 유일한 과제라서 모집단으로 삼았습니다.

수집

각 샘플은 평가 샘플 엔드포인트에서 동시 작업자 8개와 HTTP 503에 대한 지수 백오프 재시도로 수집했습니다. 백엔드는 대략 동시 읽기 8개를 넘으면 속도를 제한합니다. 제한 없이 작업자 16개로 돌린 첫 시도에서는 503으로 슬러그 784개를 놓쳤지만, 재시도에서 전부 회수되었으므로 이는 데이터 누락이 아니라 수집 과정의 산물입니다. 최종적으로 레코드 3,723개를 수집했고, 하드 404는 6개, 미회수는 0개입니다.

두 개의 필드, 그리고 그 차이

레코드에는 content 필드와 markdown 필드가 들어 있으며 둘은 서로 다른 것입니다. content 필드는 학습자의 답안이고, 템플릿 언어 측정은 전부 이 필드에서만 이루어집니다. markdown 필드는 채점자의 코멘트로, cn 로케일 레코드(코퍼스의 88%)에서는 대부분 중국어로 작성되고 모범 답안 재작성본을 포함합니다. markdown 필드에 정규식을 돌리면 학습자가 아니라 채점자의 문장을 측정하게 됩니다. 이 필드는 점수를 읽는 데에만 사용했습니다.

점수 필드

숫자 점수 필드는 3,258개 레코드에 존재합니다. 나머지 465개는 markdown에서 점수를 파싱했습니다. 두 값이 모두 있는 2,459개 레코드에서 2,459개 전부(100%)가 일치하며, 이것이 파싱 값을 대체값으로 쓰는 근거입니다. 항목별 세부 점수는 3,723개 중 3,703개(99.5%)에서 markdown으로부터 파싱됩니다.

제외 기준과 분석 대상

답안 본문이 없는 레코드 13개와, 총점 0점에 세 세부 항목이 모두 0.0인 레코드 8개(답안이 아니라 채점 실패)를 제외했습니다. 분석 대상은 1,467개 서로 다른 문제에 걸친 답안 3,692개입니다. 평균 점수 25.17점(SD 2.42), 중앙값 26점, 사분위 범위 24-27점입니다. 평균 길이는 160단어, 중앙값은 154단어입니다.

처리 정의

정형 표현 15종은 가정한 것이 아니라 데이터에서 도출했습니다. 모든 답안의 첫 120자를 토큰화해 앞쪽 3·4·5단어 연쇄를 코퍼스 전체에서 집계한 뒤, 반복되는 정형 표현을 대소문자 무시 정규식으로 작성했습니다. 첫 90자 안에서 정형 표현이 하나라도 일치하면 템플릿 도입부로 분류합니다.

양성 사례 사전 검증

집계에 앞서 As far as I am concerned, I firmly believe that으로 시작하는 답안에 탐지기를 돌려 일치를 확인했고, 정형적이지 않은 도입부에는 일치하지 않음을 확인했습니다. 둘 다 예상대로 작동했으므로, 표 1의 모든 0은 양성 사례에서 작동이 입증된 탐지기가 내놓은 0입니다.

표본 추출

이 표본은 문제 레지스트리의 대표 샘플 슬러그로 문제당 최대 약 3개이며, 전체 아카데믹 디스커션 답안 16,479개에서 무작위 추출한 것이 아닙니다. 공개된 샘플 페이지라는 기준으로 선정되었으므로 잘 작성된 답안이 과대표집되었을 수 있습니다. 선정 기준 자체는 템플릿 사용과 상관이 없지만, 모집단은 전체 제출물이 아니라 공개 샘플입니다.

주장을 가장 강하게 표현하는 순간 틀리기 시작합니다. 이 연구가 입증하지 않는 여섯 가지입니다.

1. 1

   ETS의 e-rater나 SpeechRater에 대한 근거가 아닙니다

   여기의 점수는 LingoLeap이 자체적으로 루브릭 학습시킨 AI 채점기가 산출했습니다. 아카데믹 디스커션 루브릭으로 학습된 AI 채점 시스템이 템플릿을 어떻게 다루는지를 측정한 것입니다. ETS가 사용하는 엔진은 검증하지 않았고, ETS 외부의 누구도 검증할 수 없습니다.

2. 2

   템플릿이 도움이 된다는 근거가 아닙니다

   이 연구의 양수 값은 모두 채점기의 분해능보다 작습니다. 올바른 결론은 탐지 가능한 효과가 없다는 것이며, 템플릿이 안전하다거나 효과가 있다는 결론이 아닙니다.

3. 3

   스피킹은 다루지 않습니다

   아카데믹 디스커션은 라이팅입니다. 스피킹 템플릿에 대한 주장은 여기서 검증되지 않았습니다.

4. 4

   모든 토플 답안으로 일반화되지 않습니다

   모집단은 비레거시 아카데믹 디스커션 문제에 대한 LingoLeap의 공개 샘플 답안이며, 문제당 최대 약 3개입니다.

5. 5

   내용 템플릿에 대해서는 아무 말도 하지 않습니다

   저희가 측정한 것은 도입부 정형 표현입니다. 암기한 예시 문단, 지어낸 통계, 미리 써 둔 본론 논거는 이 연구가 살펴보지 않았습니다. 에세이 전체를 암기하는 것은 전혀 다른 행위입니다.

6. 6

   템플릿과 템플릿 사용자를 분리하지 못합니다

   이 연구는 관찰 연구입니다. 누구에게도 템플릿을 무작위 배정하지 않았습니다. 문제 내 추정치와 길이 5분위 내 추정치는 교란을 줄이지만 제거하지는 못합니다.