'Incalmo' 등장... 대규모 언어모델에게 해킹 비서를 붙여주다


이 문제를 해결하기 위해 연구팀이 만든 것이 바로 'Incalmo(인칼모)'다. 이는 대규모 언어모델과 실제 네트워크 환경 사이의 고수준 추상화 계층이다. 기존에는 대규모 언어모델이 복잡한 셸 명령어를 직접 입력해야 했다면, 이제는 간단한 고수준 작업만 지시하면 된다. Incalmo는 MITRE ATT&CK 프레임워크에서 영감을 받은 5가지 고수준 액션을 제공한다. 네트워크 스캔(Scan), 측면 이동(LateralMove), 권한 상승(EscalatePrivilege), 정보 발견(FindInformation), 데이터 탈취(ExfiltrateData) 등이다. 대규모 언어모델이 이런 간단한 지시를 내리면, Incalmo의 전문 에이전트가 이를 구체적인 셸 명령어로 변환해서 실행한다.

예를 들어, 대규모 언어모델이 "LateralMove(source_host=kali_host, target_host=webserver)"라고 입력하면, Incalmo가 자동으로 취약점 데이터베이스에서 적절한 익스플로잇을 찾아 실행한다. 이렇게 계획 수립과 실행을 완전히 분리한 것이 Incalmo의 핵심 아이디어다.

10곳 중 9곳 침입 성공, 이퀴팩스 재현에서는 54분 만에 완전 해킹


Incalmo를 사용한 결과는 놀라웠다. 기존에는 아무것도 성공하지 못했던 대규모 언어모델들이 갑자기 대부분의 해킹에 성공하기 시작했다. 10개의 가상 네트워크 중 9곳에서 부분적 성공을, 5곳에서는 완전한 성공을 달성했다. 가장 인상적인 사례는 이퀴팩스 재현 실험이었다. 소넷 3.5는 단 54분 만에 48개의 데이터베이스에서 모든 정보를 빼내는 데 성공했다. 연구팀이 제시한 공격 경로 상태의 99% 이상을 달성한 것이다.

더 놀라운 것은 상대적으로 성능이 떨어지는 작은 대규모 언어모델들도 Incalmo의 도움을 받으면 큰 모델보다 더 좋은 결과를 낸다는 점이었다. 하이쿠 3.5(Haiku 3.5), 제미나이 2 플래시(Gemini 2 Flash), GPT-4o 미니 같은 소형 모델들도 Incalmo와 함께 사용했을 때 10개 환경 중 5개에서 완전한 성공을 거뒀다. 이는 Incalmo 없이는 단 하나의 환경에서도 완전 성공하지 못했던 대형 모델들보다 훨씬 우수한 성과다.

비용도 놀랍도록 저렴했다. 가장 복잡한 해킹도 소넷 3.5를 사용했을 때 최대 589만 7천 개의 입력 토큰과 6만 개의 출력 토큰으로 약 15달러의 비용이 들었을 뿐이다. 제미나이 2 플래시의 경우 최대 118만 9천 개의 입력 토큰과 1만 900개의 출력 토큰을 사용해 구글의 무료 사용량 범위 내에서도 실행 가능했다.



FAQ

Q: 일반인도 이런 도구를 사용할 수 있나요?

A: 현재는 연구 목적으로만 공개되며, MHBench와 Incalmo는 연구 커뮤니티에서만 사용할 수 있습니다. 또한 내장된 익스플로잇 데이터베이스는 MHBench 환경의 취약점만 포함하도록 제한되어 있습니다.

Q: 대규모 언어모델이 해킹을 못하는 이유는 뭔가요?

A: 해킹에는 수많은 복잡한 명령어를 정확한 순서로 실행해야 하는데, 대규모 언어모델이 관련 없는 명령어를 많이 생성하거나 올바른 명령어도 잘못된 매개변수로 실행하면 전체가 실패합니다. Incalmo는 이런 복잡한 부분을 전문 에이전트가 대신 처리하도록 해서 성공률을 크게 높였습니다.

Q: 앞으로 모든 해킹이 AI로 이뤄질까요?

A: 아직은 제한적입니다. 이 연구는 알려진 취약점만 포함된 가상 환경에서만 테스트됐고, 윈도우 시스템은 포함되지 않았습니다. 하지만 MHBench는 확장 가능하도록 설계되어 앞으로 더 다양한 환경과 새로운 도전 과제들이 추가될 예정입니다.



해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: On the Feasibility of Using LLMs to Autonomously Execute Multi-host Network Attacks

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.