AI가 교수보다 더 깐깐해… AI한테 채점 맡겼더니, 학생 10명 중 4명 점수 떨어져

AI 매터스 갤러리

자동 짤방 이미지

이미지가 없습니다.

자동 짤방으로 사용할 이미지를 등록해 주세요.

1/3

예능 촬영을 위해 미용사/네일 자격증 딴 박보검과 이상이 작성자 : ㅇㅇ

AI가 교수보다 더 깐깐해… AI한테 채점 맡겼더니, 학생 10명 중 4명 점수 떨어져

aimatters

2025.11.21 15:24:34

조회 1991 추천 6 댓글 9

미국 에모리대학교 연구팀이 인공지능 챗봇 GPT-4o를 실제 대학 수업에 투입해 학생들의 시험과 보고서를 채점하는 실험을 진행했다. 그 결과, AI가 사람 채점자와 놀라울 정도로 비슷하게 점수를 매겼다. 특히 짧은 답안 시험에서는 절반 이상 완전히 똑같은 점수를 줬고, 전체적으로는 98%의 일치율을 보였다. 하지만 기술적인 내용을 평가할 때는 사람보다 점수를 짜게 주는 경향이 있다는 사실도 밝혀졌다.

50명 학생 시험 채점, 절반 이상 교수와 똑같은 점수

연구팀은 약 50명의 대학생이 수강한 언어학 수업에서 5번의 시험과 14개 팀의 프로젝트 보고서를 GPT-4o에게 채점하게 했다. 각 시험은 10~16개의 문제로 구성됐는데, 객관식이 아니라 학생들이 직접 답을 써야 하는 주관식 문제였다. 예를 들어 "어떤 경우에 이 기술을 사용하면 안 되나요?"처럼 학생 스스로 설명해야 하는 문제들이었다.

총 258개의 답안을 분석한 결과, GPT-4o는 55%의 경우 사람 채점자와 완전히 똑같은 점수를 줬다. 사람보다 높은 점수를 준 경우는 6.2%밖에 안 됐지만, 낮은 점수를 준 경우는 38.8%나 됐다. 이는 AI가 채점할 때 사람보다 조금 더 엄격한 기준을 적용한다는 뜻이다. 그래도 전체적으로 보면 AI와 사람의 채점 결과가 98% 일치했다. 이는 누가 1등이고 누가 꼴등인지를 판단하는 데 있어서는 거의 같은 결과를 냈다는 의미다.

5번의 시험을 각각 분석했을 때도 AI와 사람의 일치도는 62%에서 97% 사이였고, 평균 점수 차이는 0.03점에서 0.12점 정도로 매우 작았다. 다만 5개 시험 중 4개에서 통계적으로 의미 있는 차이가 나타났는데, 이는 AI가 사람과 약간 다른 방식으로 일관되게 채점한다는 것을 보여준다.

프로젝트 보고서 채점, 기술 부분에선 평균 0.2점씩 덜 줘

프로젝트 보고서를 채점할 때는 어땠을까? AI는 대부분의 항목에서 사람과 비슷하게 점수를 줬다. 서론, 관련 연구 소개, 보고서 형식 같은 부분에서는 차이가 거의 없었다. 특히 요약, 결론, 참고문헌 같은 부분은 모든 보고서에 대해 사람과 완전히 똑같은 점수를 줬다.

하지만 '연구 방법'과 '연구 결과' 부분에서는 차이가 있었다. AI는 연구 방법에 평균 1.89점, 연구 결과에 평균 1.75점을 줬는데, 사람은 각각 1.99점과 1.96점을 줬다. 연구 방법에서는 평균 0.1점, 연구 결과에서는 평균 0.2점 정도 AI가 더 낮은 점수를 준 것이다.

왜 이런 차이가 생길까? 연구팀이 감점 이유를 분석해봤더니 흥미로운 패턴이 발견됐다. AI는 '숫자로 된 결과가 부족하다'는 이유로 점수를 깎는 경우가 31%나 됐는데, 사람은 15%였다. 즉 AI는 데이터와 숫자를 중요하게 본다. 반면 사람 채점자는 '보고서 형식이나 표현'을 이유로 감점하는 비율이 25%였지만, AI는 8%에 불과했다. 또 사람은 '글쓰기 품질'이나 '결론이 부실하다'는 이유로 각각 10%씩 감점했는데, AI는 이런 항목을 거의 보지 않았다. 반대로 AI만 '연구의 한계를 언급하지 않았다'는 이유로 15%를 감점했다.

명확한 기준엔 강하지만 글쓰기 평가는 약해... 교수 보조 역할로 적합

이번 연구 결과를 보면 AI는 평가 기준이 명확할 때 사람과 비슷하게 채점한다는 것을 알 수 있다. 예를 들어 '관련 연구를 제대로 조사했는가', '연구 방법을 명확히 설명했는가' 같은 내용 중심 평가에서는 잘했다. 하지만 '글이 얼마나 읽기 쉬운가', '논리 전개가 매끄러운가' 같은 글쓰기 품질을 판단하는 데는 사람과 차이가 있었다.

연구팀은 누구나 사용할 수 있는 무료 채점 프로그램을 만들어 공개했다. 이 프로그램은 사용자가 문제 개수, 채점 기준, 만점 등을 자유롭게 설정할 수 있다. PDF 파일을 바로 채점할 수 있어서 사용하기도 편하다. 다른 과목이나 다른 학교에서도 쉽게 적용할 수 있게 만들었다.

비용도 매우 저렴하다. 50명의 학생이 14개 문제에 답한 시험을 채점하는 데 드는 비용이 1달러(약 1300원)도 안 된다. 특정 기술을 사용하면 비용을 3분의 1로 더 줄일 수도 있다. 많은 학생의 시험을 빠르고 일관되게 채점할 수 있다는 장점에 비하면 매우 적은 비용이다.

연구팀은 AI가 내용 중심의 평가에서는 효과적으로 작동하며, 학생 답안의 주요 장단점을 일관되게 찾아낸다고 밝혔다. 사람 채점자와 감점하는 이유가 겹치는 경우도 많아 실제로 활용할 수 있다는 뜻이다. 다만 AI는 데이터와 증거를 중시하는 반면, 사람은 표현 방식이나 전체적인 완성도를 더 본다는 점에서 서로 보완할 수 있다고 설명했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI로 시험을 채점하면 비용이 얼마나 드나요?

A. 50명의 학생이 14개 문제에 답한 시험을 채점하는 데 1달러(약 1,300원)도 안 듭니다. 특정 기술을 사용하면 비용을 3분의 1로 더 줄일 수 있어서, 많은 학생의 시험을 채점하는 데도 부담이 없습니다.

Q2. AI는 어떤 평가에서 사람과 가장 비슷하게 점수를 주나요?

A. 평가 기준이 명확한 내용 평가에서 사람과 가장 비슷합니다. 예를 들어 '관련 연구를 제대로 조사했는가', '기술적 방법을 명확히 설명했는가' 같은 부분에서는 잘 맞지만, '글이 읽기 쉬운가', '논리가 매끄러운가' 같은 글쓰기 평가에서는 차이가 있습니다.

Q3. AI가 사람보다 점수를 낮게 주는 이유는 뭔가요?

A. AI는 숫자와 데이터를 중요하게 보는 경향이 있습니다. 연구 결과를 보면 '정량적 결과가 부족하다'는 이유로 감점하는 비율이 사람의 두 배 이상 높았습니다. 반면 보고서 형식이나 글쓰기 품질 같은 부분에서는 사람보다 관대합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: LLM-as-a-Grader: Practical Insights from Large Language Model for Short-Answer and Report Evaluation

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

고정닉 0

원본 첨부파일 1

AI-매터스-기사-썸네일-robot.jpg

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	취미 부자여서 결혼 못 할 것 같은 스타는?	운영자	26/01/19	-	-
1936	생각만으로 챗GPT 쓰는 날 올까… 오픈AI, 뇌와 AI 연결하는 '머지 랩스'에 투자 [2]	aimatters	01.16	1034	1
1935	AI가 만든 광고, 젊은 세대는 싫어한다...기업만 모르는 현실 [36]	aimatters	01.16	2624	8
1934	“AI 시대, 생각하는 일 자체가 자동화될 것… 몸 쓰는 일도 5년 내 자동화”	aimatters	01.16	53	0
1933	일론 머스크, 그록 AI의 성인 이미지 편집 기능 완전 중단	aimatters	01.16	137	0
1932	비즈스프링, AI 플랫폼 유입 트렌드 공개… “AI, 고객 유입의 시작점으로 부상”	aimatters	01.16	25	0
1931	“한국, 클로드 사용량 세계 5위"... 앤트로픽, AI 경제 영향 보고서 공개	aimatters	01.16	50	0
1930	구글 번역 AI 공개, 사진 속 글자까지 번역… 55개 언어 성능 대폭 향상	aimatters	01.16	43	1
1929	[1월 16일 AI 뉴스 브리핑] 티젠소프트, AI 기반 두피·피부 분석 진단 시스템 특허 출원	aimatters	01.16	20	0
1928	카이스트, 우울증 진단하는 AI 시스템 개발… 최대 66% 정확도 [12]	aimatters	01.15	698	1
1927	AI 성적표는 90점, 실제 사용하면 60점"... 토론토대 교수가 밝힌 AI의 함정 [11]	aimatters	01.15	2127	5
1926	알리바바, 스스로 암기·삭제하는 AI 개발... 기존보다 성능 49% 향상 [1]	aimatters	01.15	73	0
1925	앤트로픽, 클로드 코드 무단 사용 전면 차단... "정액제 무제한 시대 끝"	aimatters	01.15	47	0
1924	"챗GPT 답변 기다리는 시간 끝났다"... 오픈AI, 초고속 칩 업체와 손잡았다 [12]	aimatters	01.15	1935	0
1923	애피어, 드림에이지 MMORPG ‘아키텍트’ 론칭 캠페인서 평균 ROAS 140% 달성	aimatters	01.15	26	0
1922	"내 사진·메일 다 뒤져서 답 찾아줘"… 제미나이, 진짜 개인 비서 됐다	aimatters	01.15	72	0
1921	전 구글 X 임원 "AI, 도구 아니라 인간의 주인 될 것" 경고 [1]	aimatters	01.15	86	0
1920	한국AI산업협회, 2026년 주목할 AI 유망기업 100곳 선정	aimatters	01.15	42	0
1919	[1월 15일 AI 뉴스 브리핑] 생성AI스타트업협회, AI 기본법 대응 워터마크 API 무료 공급 외	aimatters	01.15	85	0
1918	'국가대표 AI' 1차 심사서 NC·네이버 탈락… "1개 팀 추가 모집"	aimatters	01.15	46	0
1917	AI 에이전트 마누스, 시밀러웹과 협력... 이제 몇 초 만에 시장 분석 끝	aimatters	01.14	51	0
1916	애플, 월 1만원대 '크리에이터 구독' 출격… AI 편집 기능 대거 탑재	aimatters	01.14	75	0
1914	구글, CT·MRI 읽는 AI 의사 공개… "의사 말 받아쓰기 오류 82% 줄였다"	aimatters	01.14	46	0
1913	이미지 한 장으로 3컷 스토리 완성… 런웨이 '스토리 패널' 기능 공개	aimatters	01.14	37	0
1912	나이·직업·취미 알려줬을 뿐인데… AI가 만든 2년 치 카드 내역 봤더니	aimatters	01.14	1445	2
1911	멀티모달 AI 시장, 10년 후 138조 규모로 폭발적 성장... 연평균 40% 급증	aimatters	01.14	38	0
1910	구글, ‘비오 3.1’ 대규모 업데이트… 숏폼 비율에 4K 해상도 지원	aimatters	01.14	37	0
1909	주식은 열광, 채권은 냉담… BIS, "미국 빅테크들 부채로 몰려간다" 경고	aimatters	01.14	48	0
1908	[1월 14일 AI 뉴스 브리핑] 대원CTS, 10억 펀딩 받은 ‘AI 폼롤러’ 와디즈 론칭 외	aimatters	01.14	23	0
1907	애플, AI 시리에 구글 제미나이 선택... "가장 뛰어난 기술"	aimatters	01.13	54	0
1906	앤트로픽, 일반인용 코딩 AI '코워크' 출시... 일상 업무에 활용 가능	aimatters	01.13	38	0
1905	"회의 끝나자마자 PPT 완성"... 마누스, 대면 회의용 AI 기능 출시	aimatters	01.13	74	0
1904	젠슨 황 "이제 AI 안 쓰면 일자리 뺏긴다" 경고 [33]	aimatters	01.13	2657	12
1903	[신간] "최고의 프롬프트는 '나'"... AI 시대 직업인 생존법 담은 『일을 위한 디자인』	aimatters	01.13	99	0
1902	오픈AI, 오디오 기기 '스위트피' 개발 중… 올해 9월 출시 목표	aimatters	01.13	85	0
1901	AI로 공부하면 머리 나빠진다?... OECD가 밝힌 AI 교육의 명암 [20]	aimatters	01.13	1995	4
1900	2030년 일자리의 운명... 세계경제포럼이 경고한 AI 시대 네 가지 시나리오	aimatters	01.13	81	0
1899	KAIST, 2년 내 치매 발병 가능성 예측하는 AI 개발... "진료기록만 주면 끝"	aimatters	01.13	36	0
1898	[1월 13일 AI 뉴스 브리핑] 오핌디지털, 영상 생성 AI '씬트' 쇼케이스 개최 외	aimatters	01.13	23	0
1897	앤트로픽, 챗GPT이어 건강 관리 AI 서비스 출시… 의료 현장 AI 활용 본격화	aimatters	01.12	41	0
1896	"저 엄지, AI 아냐?"... 닌텐도, 마케팅 사진에 AI 사용 의혹 [15]	aimatters	01.12	1953	1
1895	챗GPT에 '취업' 탭 추가되나... 오픈AI, 구직 지원 기능 ‘jobs’ 테스트 중	aimatters	01.12	51	0
1894	한국, AI 도입 속도 세계 1위... MS "지브리 스타일 이미지 열풍 영향 커"	aimatters	01.12	86	0
1893	"AI 보안 강화했더니 비용은 40분의 1로"… 앤트로픽, 탈옥 방어 신기술 공개	aimatters	01.12	39	0
1892	AI 유머 취향 분석했더니... ‘긴 글’과 ‘은어’ 좋아해	aimatters	01.12	36	0
1891	"불가능할 줄 알았는데"... 대학 최고 난이도 수학 시험, AI가 12문제 완벽 증명	aimatters	01.12	40	0
1890	[1월 12일 AI 뉴스 브리핑] 플래티어, 롯데홈쇼핑 에이전틱 AI 플랫폼 1개월 만에 구축 외	aimatters	01.12	22	0
1889	구글-캐릭터AI, 10대 자살 소송 합의... "챗봇이 죽음 부추겨"	aimatters	01.09	80	0
1888	구글 "지메일, AI 비서로 진화"... 제미나이 탑재로 이메일 자동 정리·작성	aimatters	01.09	49	0
1887	일론 머스크 "AI·로봇 때문에 모든 물건 가격 떨어진다… 아니면 국가 파산할 것"	aimatters	01.09	66	0
1886	일론 머스크 "지금 대학 갈 이유 모르겠다… AI가 개인 교사될 것" [34]	aimatters	01.09	2659	18