https://www.aitimes.com/news/articleView.html?idxno=158993

“자체 모델 구축보다 '챗GPT'나 '라마 2' 호스팅이 저렴...월 750만원선”

'챗GPT'나 '라마 2'와 같은 대형언어모델(LLM) 기반 인공지능(AI) 서비스를 제공하는 비용이 월 5400달러(약 750만원) 수준인 것으로 나타났다. 이는 독자적으로 구축한 LLM을 자체 호스팅하는 비용보다 저렴한 것이다.벤처비트는 21일(현지시간) 기업이 LLM 기반의 AI 서비스를 제공하는 데 드는 비용을 공개했다.이에 따르면 이 비용은 기업이 🔼오픈AI의 챗GPT를 기반으로 한 서비스 🔼클라우드의 오픈 소스 LLM을 기반으로 한 서비스 🔼자체 LLM을 기반으로 한 서비스에 따라 차이가 있다. 먼저 아마존웹서비스(AWS

www.aitimes.com

'챗GPT'나 '라마 2'와 같은 대형언어모델(LLM) 기반 인공지능(AI) 서비스를 제공하는 비용이 월 5400달러(약 750만원) 수준인 것으로 나타났다. 이는 독자적으로 구축한 LLM을 자체 호스팅하는 비용보다 저렴한 것이다.

벤처비트는 21일(현지시간) 기업이 LLM 기반의 AI 서비스를 제공하는 데 드는 비용을 공개했다.

이에 따르면 이 비용은 기업이 🔼오픈AI의 챗GPT를 기반으로 한 서비스 🔼클라우드의 오픈 소스 LLM을 기반으로 한 서비스 🔼자체 LLM을 기반으로 한 서비스에 따라 차이가 있다.

먼저 아마존웹서비스(AWS)에서 지원하는 70억(7B) 매개변수의 오픈 소스 라마 2를 기반 모델로 사용할 경우, 라마 2가 매개변수당 2 바이트를 소비하는 BFLOAT16을 사용해 훈련했기 때문에 모델 크기는 140기가바이트(GB)가 된다.

만약 로라(LoRA)를 사용하면 0.1%에 해당하는 7000만 매개변수만 조정할 수 있기 때문에 미세조정에는 0.14GB를 소비한다. 여기에 미세조정 중에 역전파, 활성화 저장, 데이터 세트 저장 등의 메모리 오버헤드를 수용하려면 훈련 가능한 매개변수가 소비하는 것보다 최대 5배 더 많은 0.7GB의 메모리 공간을 유지하는 것이 좋다. 즉, 미세조정 총 용량은 141GB다.

AWS EC2 온디맨드 가격을 기준으로 시간당 2.8달러인 컴퓨팅 비용에 따라 미세조정에 소요되는 비용은 하루 67달러다. 미세조정은 며칠 동안 지속되지 않기 때문에 큰 비용은 아니다.

또 모델을 배포할 때는 140GB의 메모리를 소비하는 모델 가중치와 0.14GB의 메모리를 소비하는 로라 미세조정 가중치를 저장할 140.14GB의 추가 메모리가 필요하다. 오버헤드를 고려하면 약 1.5배 약 210GB 메모리를 유지하는 것이 좋다.

AWS EC2 온디맨드 가격을 기준으로 하면 GPU 컴퓨팅 비용은 시간당 3.70달러다. 모델을 메모리에 로드한 상태로 유지하고 들어오는 요청에 응답하는 데 드는 비용이 하루 90달러이며, 매월 약 2700달러의 비용이 든다.

첫번째 모델에서 요청이 실패할 경우를 대비한 이중화를 고려하면 비용은 하루 180달러, 월 5400달러가 된다.

이는 일반적으로오픈 소스보다 훨씬 비싸다고 여겨졌던 오픈AI의 'GPT-3.5 터보'를 사용할 경우와 비슷하다.

오픈AI의 가격을 기준으로 GPT-3.5 터보 미세조정 비용은 1000토큰당 0.008달러다.

대부분 단어가 토큰2개로 이뤄졌다고 가정하면, 오픈 소스 라마 2 70B 모델의 일일 미세조정 비용 67달러에 맞추면 오픈AI 모델에는 약 415만 단어를 제공할 수 있다. 이는 A4 페이지의 평균 단어 수를 300개로가정하면 최대 1만4000페이지 분량의 데이터를 모델에 제공할 수 있다는 설명이다. 미세조정 데이터가 많지 않을 가능성이 높기 때문에 오픈AI를 사용하면 미세조정 비용은 오히려 저렴해진다.

AWS와 달리 오픈AI는 미세조정 비용이 훈련 시간이 아니라, 미세조정 데이터의 양에 따라 책정된다. 평균 1000토큰당 0.004달러로 계산하면, 하루 180달러의 비용으로 API를 통해 매일 2220만 단어를 보낼 수 있다.

이는 7만4000페이지 이상의 데이터이며 각 페이지당 300단어에 해당하는 비교적 큰 수치로, AWS보다 1시간 동안 더 많은 양을 처리할 수 있다. 게다가 오픈AI는 종량제 가격이기 때문에 사용한 만큼만 비용을 지불한다.

다만 오픈AI의 경우는 일일 사용한도가 있어 이를 초과하면 서비스가 예고없이 중단될 수 있다. 해결 방법은 사용 제한을 늘려 서비스를 활성화시키는 것이다.

반면 독자적인 모델을 기반으로 자체 호스팅 서비스를 제공할 경우, 비용은 인력 및 유지 관리와 같은 추가 비용으로 인해 총 비용이 20만~25만달러(약 2억8000~3억5000원)로 크게 증가할 수 있다.

물론 처음부터 독자적인 모델을 소유하면 데이터 및 사용량에 대한 통제력을 유지하는 등의 이점이 있지만, 자체 호스팅을 실행 가능하게 만들려면 인력 및 물류를 관리하기 위한 리소스와 함께 하루 최대 2220만 단어를 훨씬 초과하는 사용자 요청 로드가 필요하다.

아비 차왈라 AI포트 데이터 과학자이자 제작자는 "결론적으로 API를 사용하는 대신, 독자 모델을 소유하는 것이 대부분의 경우 재정적으로 이익이 될 가능성은 거의 없다"라고 지적했다.