요약
Khanmigo AI 튜터의 수학 성적 효과는 작았고, 학생들이 잘 쓰지 않은 것이 걸림돌이었습니다.
필립 오리오풀로스와 니나 로가 브라운대 애넌버그 연구소의 교육 연구 보고서로 낸 논문입니다. 생성형 AI가 모든 학생에게 개인 튜터가 되어 줄 것이라는 기대를 대규모 실험으로 따져 본 초기 연구입니다.
왜 중요한가
- AI 튜터를 쓸 수 있게 해 주는 것만으로는 부족하다는 점을 실험 자료로 보여 줍니다.
- 성적 향상 폭은 AI 없이 칸 아카데미로 연습했을 때와 비슷해, AI가 더한 몫은 뚜렷하지 않았습니다.
- 연구진은 학생이 실제로 쓰게 만드는 일이 AI 튜터링의 가장 큰 과제라고 결론지었습니다.
핵심 내용
- 테네시주 중학교 18곳에서 2년 동안 진행한 집단 무작위 배정 실험(무리 단위로 대상을 무작위로 나누는 실험)입니다.
- Khanmigo는 답을 알려 주지 않고 풀이를 이끌도록 설정했고, 매일 있는 수학 보충 수업 시간에 썼습니다.
- 수학 성취도는 학기마다 전국 백분위로 1.3단계씩 올랐고, 1년 효과는 0.06~0.08 표준편차였습니다.
- 학생의 96%가 한 번 이상 써 봤지만, 중간값 학생은 연습한 날의 3분의 1에만 튜터에게 말을 걸었습니다.
- 틀린 문제가 나온 연습 시간에도 튜터를 부른 경우는 17%뿐이었고, 메시지는 대부분 답만 적은 것이었습니다.
HN 반응
- 일부 이용자는 결과를 솔직히 인정한 점을 높이 샀고, 학생의 동기와 유대를 이끄는 교사의 역할은 LLM이 대신하기 어렵다고 덧붙였습니다.
- 학교 과제와 앱마다 AI가 밀려든다는 고등학생의 글에는 종이책을 읽고 손으로 쓰라는 조언이 이어졌습니다.
고등학생입니다. 우리 목구멍에 억지로 밀어 넣는 AI의 양이 차원이 다릅니다. Claude로 쓴 글이 들어간 과제가 나오고, 환각을 일으키는 튜터가 있고, 과제를 확인하려고 쓰는 앱에도 Gemini가 들어가 있습니다. 친구 동생(초등학교 4학년)은 "펭귄"에 대한 슬라이드 발표에 쓸 그림을 AI로 만들어서 쓴다고 합니다. 교육이 전환점을 맞은 건 분명한데, 그게 더 나빠지는 쪽일까요?
링크: https://workspaceupdates.googleblog.com/2026/08/gemini-in-google-classroom-is-expanding-to-users-of-all-ages-with-contextualized-Gemini-starter-prompts-for-students.html
네, 더 나빠지는 쪽입니다. AI 자체가 나쁘다는 뜻이 아니라, 모든 게 너무 새로워서 교실에서 AI를 쓰면 어떤 결과가 나올지 아무도 모른다는 뜻입니다. 그러니 여러분은 "파괴적 교육" 사업의 실험 대상이라고 생각하세요.
제 조언은 이렇습니다. 진짜 책을 많이 읽으세요. 도서관에 가서 진짜 책으로 공부하세요. 시간이 더 걸리더라도(오히려 더 걸릴수록) 그렇게 하세요.
그리고 직접 쓰세요. 종이에 연필이나 펜으로요.
분필과 석판도 쓰고요.
아니, 사실 글은 아예 쓰지 말고 말로만 논쟁하세요. 소크라테스 식으로요.
요즘 같은 시대에는 그걸 토론 동아리라고 부르죠. :)
사람들하고도 많이 이야기해 보세요. 친구를 사귀면 덤으로 좋겠지만, 진짜 목표는 고등학교 다음 단계를 준비하는 겁니다. 다른 누구도 대신 준비해 주지 않으니까요.
대학이든 취업이든 직업학교든 군대든, 말로 하지 않는 소통은 전부 의심의 눈초리를 받게 될 세상에서는 인맥이 그 어느 때보다 중요해질 겁니다. 사교의 달인이 될 필요는 없지만, 대화를 이어 가고 다른 사람의 경험을 듣는 데(아니, 적어도 듣는 척하는 데) 아주 익숙해지세요. 이미 자본이 있는 게 아니라면, 점점 그것만이 남들 사이에서 진짜로 눈에 띄는 방법이 되어 가고 있습니다. 우리 세대처럼 INT 수치 높은 걸로 평생 버티던 세상에서 점점 멀어지고 있어요.
이게 뭔가요?
지능 수치(Intelligence statistic)입니다.
게임에서 INT(지능)가 높으면 캐릭터가 더 똑똑하다는 뜻인데, 거기서 따온 표현이에요.
똑똑하다는 말을 참 희한하게도 하네요.
그냥 똑똑함보다는 더 구체적인 말이에요. DND에는 정신 능력을 나타내는 수치가 세 가지로 따로 있거든요. 대충 말하면 지능(Intelligence)은 학문적 지식, 지혜(Wisdom)는 세상에 대한 실용적 이해, 매력(Charisma)은 개인적인 영향력이에요.
부모 댓글은 이제 WIS와 CHA가 낮으면 어영부영 넘어갈 수 없게 됐다는 얘기를 하는 겁니다.
마이어스-브릭스(MBTI) 유형 분류예요. 쉽게 말하면 내향적 사고형 성향이죠.
아니요, 던전 앤 드래곤에서 나온 겁니다. 캐릭터에게는 힘, 민첩, 건강, 지능, 지혜, 매력이라는 여섯 가지 기본 능력치가 있고, 각각 STR, DEX, CON, INT, WIS, CHA로 줄여 부릅니다.
마이어스-브릭스는 네 글자짜리 문자열이지 세 글자가 아니고요.
그 얘기 좀 더 해 주실 수 있나요? 정말 흥미롭네요! 이걸로 블로그 글을 써 보세요.
제 생각에 교육에서 AI가 커져 가는 문제인 이유는, 숙제나 시험 답을 알려 줘서가 아니라 학교가 가르쳐야 할 창의적 사고를 억누르기 때문입니다(숙제와 시험은 부수적인 것에 가깝죠). AI의 영향이 전부 어떤지는 아직 모르지만, 제가 본 바로는 AI가 우리 교육 제도를 안에서부터 무너뜨리고 있는 것 같습니다. AI를 쓰다 보니 다들 창의적인 불꽃이 사라졌고, 제출되는 숙제는 전부 생성형 AI 문체라 똑같아 보이고, 맥락까지 파악한 AI 튜터는 개념을 설명해 주지 않고 답만 줍니다. 반대로 우리 학교 시험 점수는 더 높아졌지만(대부분 기본적인 암기를 묻는 시험이라서요), 숙제 점수는 오히려 최저 수준이라, 점수 분포가 거꾸로 뒤집힌 모양이 됐습니다.
블로그 글, 정말 좋은 생각이네요 :)
블로그 글 쓰는 걸 도와줄 AI도 어딘가 분명 있겠죠...
/duck
네, 꼭 이 주제가 아니더라도 어떤 주제로든 블로그를 만들어 보라고 권하고 싶습니다. 글쓰기에 도움이 되기도 하고, 그냥 재미있는 일이기도 하니까요. 제 감정이 제대로 전해질지 모르겠지만, "인터넷에서는 아무도 신경 쓰지 않거든요!" 그래서 쓰고 싶은 대로, 그저 쓰는 것 자체가 좋아서 쓸 수 있다는 게 해방감을 줄 수 있습니다. 글을 쓰는 과정에서 생각이 더 또렷해지기도 하고, 그냥은 얻기 어려웠을 깨달음을 얻게 될 수도 있고요.
블로그 글 쓰는 건 멋진 일인데, 그에 관한 정보가 부족하기도 하고 "아, 이건 내가 할 게 아니야, 진짜 아는 사람이나 나보다 훨씬 똑똑하고 경험 많은 사람들이 하는 거지" 하는 느낌이 들기도 합니다. 그래도 블로그를 써도 괜찮다는 걸 알았으면 좋겠습니다.
[저는 지금 대학교 1학년인데, 고등학생 때 블로그를 시작했고 그때 블로그를 시작하기 싫게 만들던 이유들이 다 기억납니다. 그래서인지 아이러니하게도 제 해커뉴스 댓글은 블로그 글이나 기사에 더 가깝습니다.] 어쩌면 십대가 블로그를 해야 하는 이유 목록을 정리해 보고 싶네요 :-D
이 쓰레기 같은 건 주로 어디서 나오나요? 출판사입니까, 아니면 교사들 본인입니까? 가장 심한 쪽은 누굽니까?
사실 둘 다입니다. 한쪽에서는 Google Classroom 같은 학습 플랫폼이 온갖 AI 튜터를 학생들에게 떠밀고 있고, 다른 한쪽에서는 교사들이(좋은 분들도 있겠지만 점점 늘고 있는 문제예요) Claude나 ChatGPT로 만든 과제를 자주 내줍니다. 그러면서 학교는 AI를 쓰지 못하게 하는데, 이제는 단속할 방법이 없고, GPT의 완벽한 답처럼 쓰지 않으면 감점을 당합니다. 제 생각에 제일 심한 쪽은 AI를 쓰라고 강요하는 출판사들이지만, 교사들 본인도 분명 잘못이 있습니다.
부모들이 다 같이 자식을 늑대 소굴에 던져 놓고 알아서 살아남으라고 하네요. 고작 YAML 하나가 원치 않는 곳을 건드렸는데 그걸 감당하지 못했다는 이유로요.
아이들이 이걸 기억해 줬으면 좋겠습니다.
대체 무슨 소리를 하는 거예요, 진짜?
저는 아마 당신보다 한 살 많을 뿐인데 대학교 1학년이고, 어제 막 교양 시험(prof com exam)을 봤습니다.
시험 준비를 하는데, 슬라이드 말고도 교수님이 PDF 파일을 하나 주셨어요. 3개씩 묶어 말하는 법칙(AI는 훨씬 더 자주 셋씩 나열합니다) 때문에 느낌이 좀 이상해서 pangram에 돌려 봤더니 77%가 AI가 쓴 글이라고 나왔습니다.
교수님은 ChatGPT는 도구이고 나쁘게 말고 좋게 써야 한다고 하셨지만, 이걸 보니 교수님이 쓴 방식이 완전히 좋은 쪽이었는지는 잘 모르겠습니다. 솔직히 그걸 확인한 뒤로는 그 PDF에 교수님이 실제로 얼마나 공을 들였는지, 우리가 직접 프롬프트를 넣어도(어쩌면 더 잘) 나올 만한 내용이 얼마나 되는지 가늠할 수 없었습니다.
저는 도서관에도 자주 가고 다른 데도 자주 가는데, ChatGPT/Claude를 열어 놓은 사람이 놀라울 정도로 많고, 시험은 거의 전부 어떤 식으로든 AI가 끼어 있습니다. 어제 친구들과도 바로 그런 이야기를 했고요. 이런 면에서 AI는 교육을 바꿔 놓았습니다(좋은 쪽이든 나쁜 쪽이든). 저는 조금 나쁜 쪽이라고 생각하는데, 사람들이 관계(교사와 학생, 학생과 교사 사이의 신뢰)를 믿지 못하게 만들고 있기 때문입니다.
하지만 다른 방법이 다 통하지 않을 때는 맞춤형 학습의 길을 열어 주기도 합니다. 저도 공부할 때 쓰는데 좋다고 생각하지만, 실제로는 배우지 못하고 있는데도 배우고 있다는 느낌이 들 때가 있습니다. 배움이란 여전히 어려운 문제를 직접 붙들고 씨름하는 일이고, 그건 AI가 대신해 줄 수 없다고 생각합니다. 그리고 이 모델들이 이렇게 아첨을 심하게 하게 된 것도 정말 정말 싫고, 웹 인터페이스에서는 조금 더 멍청해진 것 같기도 합니다.
예를 들면 ChatGPT가 조해리의 창(Johari window)에서 오류를 내서 숨겨진 영역과 보이지 않는 영역의 위치를 서로 바꿔 놓고도, 자기 노출/피드백이 각각 세로/가로라고 말했습니다. 그러니 그렇게 말한 건 틀린 거였고, 제가 슬라이드를 알고 전부 읽었기 때문에 잡아낼 수 있었습니다.
그리고 해커뉴스에 오신 걸 환영합니다. 즐겁게 지내시고 호기심을 잃지 마세요. 저처럼 해커뉴스 중독에 빠지지는 않으시길 바랍니다, 하하 :-D
저희는 이게 나왔을 때부터 이런 결과를 봤는데, 대단한 선견지명이 있어서가 아닙니다.
https://blog.comini.in/p/why-khanmigo-will-fail
학교를 운영해 보면(저희가 그렇습니다) 아주 뻔하게 보입니다. AI는 학습의 기계적인 부분을 쉽게 만드는 데 초점을 맞추고 있습니다. 그런데 측정(얼마나 배우고 있는가)에 집중하고 거기서 출발하는 한, 당장의 초점은 어쩔 수 없이 학습의 표면적인 기계적 요소(읽을 때 해독과 부호화를 할 수 있는지, 구구단을 외우는지 등)에 맞춰집니다.
의미 > 동기 > 기계적 요소 > 측정
학습의 자연스러운 순서는 우리가 마음껏 발견하고 탐구하며 의미를 찾을 수 있을 때입니다. 그러면 더 나아지고 숙달되고 싶은 동기가 생기고, 바로 그때 기계적 요소가 들어와야 합니다. 마지막으로, 대체로 지금 어디쯤 있는지 아는 게 도움이 되니까 몇 가지 결과를 측정합니다. 그런데 학교 제도는 이 순서를 완전히 뒤집어 놓았습니다!
관심 있는 분들을 위해 더 자세한 글입니다: https://blog.comini.in/p/schooling-has-a-meaning-crisis-paradoxically
제 생각에는 Codex나 Claude가 이미 해 주는 것에서 별로 더하는 게 없어서 실패할 것 같습니다. 아이들이 LLM으로 공부하지 않게 되는 일은 없을 겁니다. 이 부분에 반대할 사람은 없다고 봅니다.
사실 배움에서 가장 중요한 건 관심을 갖는 겁니다. "내가 대수학을 왜 신경 써야 하지? 아, 내 사업에 도움이 될 수 있다고? 좋아, 배워 보지!" 이런 식으로요.
그런데 그 당시에는 의미를 찾기가 어렵잖아요. 중학생이 자기 사업에 대수학을 쓸 생각을 어떻게 하겠어요?
저는 라틴어 수업 시간에 장난으로 손을 들고 "선생님, 우리는 왜 죽은 언어를 배우나요?"라고 물었던 게 기억나요.
세월이 흐른 뒤 언어 덕후가 된 지금은 그때 훨씬 더 집중할 걸 그랬다고 후회합니다.
그건 저한테는 의미와 동기처럼 들리는데요.
아이들은 그런 식으로 생각하지 않습니다. 하긴 어른도 그렇게 생각하기 어려워할 때가 많죠. 특히 아이들은 장기적인 쓸모에서 동기를 얻지 않습니다.
이건 범주 오류입니다.
의미 > 동기 > 기계적 요소인 건 맞지만, 측정은 그 의미 > 동기 > 기계적 요소라는 사실을 아는 방법이고, 더 중요하게는 남들에게 그걸 증명하는 방법입니다(학생들에게 동기를 조금이라도 불어넣었다는 사실조차도요).
측정은 당신의 방식이(다른 사람의 방식이 아니라) 사람들이 시간과 돈을 들일 가치가 있다는 걸 증명하는 방법입니다.
신뢰 > 의미 > 동기 > 기계적 요소입니다. 낯선 사람에게 어떻게 신뢰를 얻습니까? 측정으로요.
아주 솔직한 접근입니다. 뭔가를 시도했고, 아주 작은 개선이 있었고, 그걸 인정했으니까요. 원인이 참여도 부족으로 보인다고 인정한 것도 제 경험과 맞습니다. 학생들에게 훌륭한 도구를 줄 수는 있어도 수학에 흥미를 갖게 만들 수는 없습니다. Khanmigo가 좋은 튜터일 수는 있지만, 아이들을 책상에 묶어 놓고 정해진 문제량을 다 풀 때까지 못 나가게 하지 않는 이상 도움이 되지 않을 겁니다.
저는 이 사람이 왜 이런 결과를 한참 전에 내다보지 못했는지 궁금했는데, 살 칸 본인에 대해 더 찾아보니 놀랍게도 '정상적인' 교육 경험이 전혀 없었고, 그걸로 모든 게 설명됩니다. 보통 교실에서 좋은 아이들은 교사가 필요 없습니다. 책(또는 칸 아카데미 영상이나 믿을 만한 LLM)만 주면 교사가 가르치는 것보다 훨씬 빠르게 내용을 익힐 겁니다. 이제 나머지 95%의 아이들 이야기를 해 보죠...
그 나머지 95%는 대체로 동기가 부족하거나 지능이 부족합니다. 이런 아이들에게는 좋은 교사가 많은 일을 해 줄 수 있지만, 교과 내용을 실제로 가르치는 일은 그중 비교적 작은 부분입니다. 핵심은 동기를 불어넣거나, 학습이 더딘 학생에게 맞게 내용을 조정하는 겁니다. 그리고 가장 중요한 건 이 모든 걸 하고 있다는 티를 내지 않고 해내는 것입니다. '자연스럽게' 느껴지게 해야 흥미를 느끼게 하는 데도, 아이들과 더 좋은 유대감을 쌓는 데도 중요하기 때문입니다. 그런 유대감과 관계 형성이 결정적인데, LLM의 영역 밖에 있는 일입니다.