3줄 선요약

1. 최초의 AI Software Engineer라고 불리던 Devin은 과장 광고된 능력과 달리, 비효율적이고 불완전한 작업 방식으로 실제 소프트웨어 개발 업무에 적용하기 어려움

2. 현 AI 업계는 기술의 한계를 숨기고 과장된 홍보로 대중의 오해와 과도한 기대를 조장하는 경향이 있음

3. AI 기술 발전을 위해서는 투명한 정보 공개와 건강한 비판 문화가 필요하며, AI의 잠재력과 한계를 균형 있게 바라보는 시각이 중요함

3월 중순쯤 Cognition에서 'Devin'이라는 AI기반 소프트웨어 엔지니어링 도구를 발표 했었음. 당시 IT업계에서는 'The World's First Ever AI Software Engineer'라며 대서특필을 했었음. 그러나 본 영상에서는 이것은 모두 빛좋은 개살구 라는것을 Devin은 비효율적인 문제해결능력, 과장광고를 꼬집어 비판하고있음.

1. Devin의 비효율적인 문제해결능력

1) 불필요한 파일 생성 및 디버깅: 영상에서 Devin은 "visualize_detections.py" 파일에서 발생한 오류를 수정하는 모습을 보이고 있음. 그러나 이 파일은 사용자가 제공한 레포지토리에는 존재하지 않는 파일임. 이와 마찬가지로 다른 작업에서도 'update_image_ids.py'파일에서 발생한 오류를 수정하는 모습을 보이고 있음. 이 파일 역시 저장소에 없는 파일이며, Devin이 스스로 생성한 것으로 보임. 즉, Devin은 스스로 생성한 불필요한 파일에서 발생한 오류를 해결하기 위해 복잡한 코드를 생성하며 비효율적인 디버깅 과정을 거침.

2) 비효율적인 코드구조: Devin은 "update_image_ids.py" 파일에서 데이터를 처리하기 위해 버퍼를 사용했음. 버퍼 사용은 과거 C 언어와 같은 저수준 언어에서 주로 사용되던 방식이며, 현대 Python에서는 더 효율적이고 간결한 방법들이 존재함. 심지어 C언어를 통해 버퍼를 사용하고 파이썬으로 바인딩하는 괴랄한 솔루션을 제시함.... 이러한 Devin이 생성한 코드는 불필요하게 복잡하고, 가독성과 유지 보수성이 떨어짐. 

*예시비교 C언어 vs 파이썬

3) 이상한 명령어 사용법: 영상에서 Devin은 "head -n 5 results.json | tail -n 5" 명령어를 사용하는 장면이 나옴. 이는 "results.json" 파일의 처음 5줄을 가져온 후 다시 그중 마지막 5줄을 가져오는 명령어로, 논리적으로 의미가 없음. "head -5 results.json" 명령어만으로도 동일한 결과를 얻을 수 . 이는 Devin의 코드 생성 과정에서 불필요한 복잡성과 오류가 발생하였고, 명령어구문을 이해하고 사용하는것이 아님을 의미함.

4) 주어진 다양한 자료에 대한 활용 부족: 사용자가 제공한 코드 저장소의 README 파일에는 추론 작업을 수행하기 위한 간단한 명령어가 명시되어 있음. 하지만 Devin은 이를 활용하지 않고, 불필요한 코드 생성과 디버깅 과정을 거침. 이는 Devin이 주변 정보를 효과적으로 활용하지 못함을 보여줌.

5) 오류 패싱: 사용자가 제공한 코드 저장소의 "dataset.py" 파일에는 torch 모듈의 '_six' 속성을 참조하는 오류가 존재함. 하지만 Devin은 이 오류를 발견하거나 수정하지 못함.

6) 과도한 추론시간: 영상의 타임스탬프를 통해 Devin이 작업을 수행하는 데 6시간 이상 소요되었음을 알 수 있음. 간단한 추론 작업을 수행하는 데 이렇게 많은 시간이 소요된 것은 매우 비효율적임. (예를들어 한 문제를 해결하기위해  GPT4 turbo 0409 api를 6시간동안 계속 사용한다고 가정하자... 비용은 끔찍할것)

2. Devin의 과장광고

1) 수익창출 주장:  영상 설명과 홍보 자료에서는 Devin이 Upwork에서 작업을 수행하고 돈을 벌 수 있다고 주장했지만, 실제 영상에서 Devin은 사용자 요구 사항을 충족시키지 못했고, 따라서 실제 수익 창출로 이어지지 않음.

2) "세계 최초의 AI 소프트웨어 엔지니어" 주장: 이 주장은 모호하고 주관적임. 과거에도 코드 생성이나 자동화를 지원하는 AI 도구들이 존재했기 때문에, Devin이 "최초"라고 단정 짓기 어려움

Cognition의 Devin 시연 자료만으로도 그의 능력에 의문을 갖게됨. 이러한 문제는 Cognition에만 국한된 것이 아니라 AI 업계 전반의 문제임. 언론인, 블로거, 인플루언서 등이 사실 확인 없이 정보를 전파할 경우, 소비자들은 AI의 현재 능력에 대해 잘못된 인식을 갖게 될 수 있음. 또한, AI가 생성한 코드의 신뢰성 문제는 더 많은 버그와 보안 취약점을 초래할 수 있음.

물론 위에 Devin과 같은 예시는 AI스타트업이 VC로 부터 투자를 받기위해 온몸비틀기 하는거임(극단적인 예로, 코1인붐때 NFT가 VC투자받으면서 날뛰던거랑 비슷한맥락임). 따라서 소비자가 주체가되어 AI 관련 정보를 비판적으로 수용하는 자세가 필요함을 강조하고있음.

유익했다면 개추줘 응애