컨텍스트 창(context window)은 대화형 언어 모델에서 짧은 기간의 메모리 역할을 하는데, 입력 프롬프트의 내용 또는 채팅봇의 대화 내용 전체를 저장합니다. 최근에는 이 컨텍스트 크기를 늘리는 것이 기술적 경쟁으로 번지고 있으며, Anthropic사가 최근에는 자사의 Claude 언어 모델에 75,000 토큰의 컨텍스트 창을 소개했습니다. OpenAI 역시 GPT-4의 32,000 토큰 버전을 개발했지만 아직 공개되지 않았습니다.

이와 관련하여 OpenAI는 gpt-3.5-turbo-16k라고 불리는 새로운 16,000 토큰 컨텍스트 창 버전을 소개했습니다. 이전 표준 4,000 토큰 버전에 비해 4배 더 많은 컨텍스트 길이를 가지며, 한 번의 요청으로 약 20페이지 분량의 텍스트를 처리할 수 있습니다. 이는 텍스트의 큰 덩어리를 처리하고 응답을 생성해야 하는 개발자들에게 상당한 도움이 될 것입니다. #AI기능향상

함수 호출 기능과 함께, 개발자들은 이제 외부 도구를 호출하거나, 자연어를 외부 API 호출이나 데이터베이스 쿼리로 변환하는 채팅봇을 더 쉽게 구축할 수 있습니다. 이 기능은 사용자가 일관된 JSON 형식의 출력을 생성하는데 어려움을 겪는 것을 해소할 수 있습니다.

또한, OpenAI는 “gpt-3.5-turbo-0613” 모델에 “더욱 신뢰할 수 있는 시스템 메시지를 통한 조종 가능성(steerability)”을 포함시켰다고 발표했습니다. 시스템 메시지는 모델에게 어떻게 행동해야 하는지 알려주는 특별한 지시 프롬프트입니다.

비용 측면에서는, gpt-3.5-turbo의 입력 토큰 가격이 25% 감소했습니다. 이는 개발자들이 대략 1000개의 입력 토큰당 $0.0015, 1000개의 출력 토큰당 $0.002로 이 모델을 사용할 수 있음을 의미하며, 대략 1달러로 700페이지 분량의 텍스트를 처리할 수 있습니다. gpt-3.5-turbo-16k 모델은 1000개의 입력 토큰당 $0.003, 1000개의 출력 토큰당 $0.004로 가격이 책정되었습니다.

이와 더불어 OpenAI는 “text-embedding-ada-002” 임베딩 모델의 비용을 75% 절감했습니다. 임베딩 모델은 컴퓨터에게 단어와 개념을 기계가 이해할 수 있는 숫자 언어로 변환하는 역할을 합니다.

마지막으로, OpenAI는 이전 버전의 일부 모델들을 더 이상 지원하지 않겠다고 발표했습니다. 기존 사용자들은 9월 13일까지 계속해서 이전 모델들을 사용할 수 있으나, 그 이후에는 더 이상 접근할 수 없습니다.

OpenAI의 GPT-4 API는 여전히 대기 목록에 머물러 있어 널리 사용할 수 없음을 알려드립니다.

◎GPT매거진 (https://www.gptmagazine.net)

지피티 기자 : gptmagazinebiz@gmail.com