정확한 답변은 좋지만 앞뒤 맥락 파악 못해 짜증


32개 인기 AI 코딩 도우미에 대한 361개 사용자 후기를 분석한 결과, 개발자들의 복잡한 감정이 드러났다. 가장 좋은 평가를 받은 부분은 정확한 코드 제안이었다. 39명이 좋다고 했다. 한 사용자는 "키보드 사용이 80% 줄었다. 마법 같다. 내 마음을 읽는 것 같다"고 칭찬했다.

하지만 동시에 많은 개발자가 도움이 되지 않는 제안에 대해 17건의 불만을 표했다. 특히 같은 내용을 반복하거나 불완전한 답변에 대한 불만이 8건 나왔다. 한 사용자는 "계속 화면에 글자를 토해내는데 90% 이상이 똑같은 내용"이라고 비판했다.

가장 큰 문제는 상황 파악 능력이다. AI는 정보가 주어지면 코드를 잘 이해하지만, 관련된 정보를 찾거나 기억하는 데 어려움을 겪는다. 코드 이해 관련 후기의 73%가 좋다고 했지만, 상황 파악 관련 후기는 38%만 좋다고 했다.

초보자는 "최고", 고수는 "별로" 엇갈린 반응


경험에 따른 반응 차이도 뚜렷했다. 초보 개발자 15명 중 14명이 AI 도우미가 도움 된다고 했다. 한 초보자는 "프로그래밍을 처음 배우는데 프로젝트 만드는 데 정말 도움이 많이 된다"고 말했다. 반면 숙련된 개발자 5명 중 2명은 별로라고 했다. "정말로 코딩을 잘 아는 사람이라면 짜증 나는 일이 많을 것"이라는 혹독한 평가도 나왔다.

일 처리 속도에 대해서는 90%가 좋다고 했다. 하지만 개발자들은 단순 반복 작업이 줄어들고 일하는 방식이 간단해진 점을 더 높이 샀다. 특히 자신에게 맞게 설정할 수 있는 기능이 일 처리 속도 향상에 중요하다는 점이 새로 밝혀졌다.

복잡한 설정에 포기하는 사용자들, 컴퓨터 성능 잡아먹어 불만


사용하기 쉬운지가 두 번째로 많이 언급된 문제였다. 특히 처음 시작할 때의 어려움이 큰 문제로 지적됐다. 자신의 컴퓨터에 직접 설치하는 타입의 AI 도구는 설정이 복잡해서 사용자들이 포기하는 경우가 많았다. 한 사용자는 "설정이 너무 복잡하다. 더 쉬워질 때까지 기다리겠다"며 사용을 중단했다.

화면 조작 관련 문제도 심각했다. 특히 포커스 기능 오작동으로 코드 입력창에 쓴 글이 채팅창으로 들어가는 문제가 보고됐다. 한 사용자는 "포커스가 제대로 안 돼서 채팅을 못 쓴다. 짜증 난다"고 했다.

컴퓨터 성능 면에서는 답변 속도는 만족스러웠지만(17건 중 14건이 좋다고 함), 컴퓨터 자원을 너무 많이 쓴다는 불만이 계속됐다. 관련 후기의 78%가 불만이었고, "CPU 50% 이상, 메모리 1GB 이상 사용한다"는 구체적 불만도 나왔다.



FAQ

Q: AI 코딩 도우미가 정말 일하는 속도를 빠르게 해주나요?

A: 연구 결과 일 처리 속도 관련 후기의 90%가 좋다고 했습니다. 특히 같은 작업 반복을 줄이고 일하는 방식을 간단하게 만드는 데 도움이 되지만, 초보자들이 고수보다 더 큰 도움을 받는 것으로 나타났습니다.

Q: AI 코딩 도우미 사용할 때 가장 큰 문제는 뭔가요?

A: 상황 파악 능력 부족이 가장 큰 문제입니다. AI가 주어진 정보는 잘 이해하지만 프로젝트 전체 상황을 파악하거나 이전 대화를 기억하는 데 어려움을 겪어 부정확한 답변으로 이어집니다.

Q: AI 코딩 도우미 시장은 지금 어떤 상황인가요?

A: 1,085개의 AI 코딩 도우미가 발견됐고, 90% 이상이 최근 2년 안에 만들어졌습니다. 하지만 상위 10개 도구가 시장의 86%를 차지하는 심한 독식 현상을 보이고 있습니다.



해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: "My productivity is boosted, but ..." Demystifying Users' Perception on AI Coding Assistants

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.