[OpenAI Dev Day] ① GPT-4.0터보 "책을 통째로 이해한다" (128k 토큰) 챗GPT

[2023년11월7일] 오픈AI가 6일(현지시간) 미국 샌프란시스코 본사에서 '오픈AI 개발자 회의(OpenAI Dev Day)'를 열고 챗GPT 업데이트를 발표했다. 다음은 Dev Day 내용에 대한 시리즈 작성을 한다.

 

"책 통째로 이해한다"

 

프롬프터 엔지니어로 이번 발표에서 가장 고마운 것은 토큰 입력 확대다. 그 다음으로 2023년 4월까지 내용을 학습한 것이다.

챗GPT의 답변은 모델 버전과 설정에 따라 다르지만, 일반적으로 한 번의 답변에서 처리할 수 있는 최대 토큰 수는 대략 4,096토큰이다.

영어 단어: 토큰과 영어 단어의 비율은 정확하게 1:1이 아니다. 토큰은 때에 따라 한 단어를 여러 토큰으로 나눌 수 있다. 예를 들어, "very"는 하나의 토큰이지만 "unexpectedly"는 "un", "expect", "ed", "ly"와 같이 여러 토큰으로 나눠질 수 있다. 그래도 대략적으로, 영어에서는 한 토큰을 한 단어로 간주할 수 있으니, 대략 1(토큰):0.75(영어단어)로 해석할 수 있다. 영어 단어 3,072단어 정도로 보는 것이 합리적이다.

한국어 단어: 한국어의 경우에는 토큰과 음절이 정확히 일치하지 않는다. 한국어는 공백으로 구분된 어절 내에서도 여러 음절로 구성돼 있다. 대략적으로, 한국어에서는 한 토큰이 1~2음절을 형성한다. 한국어는 평균 음절수 3.0음절로 보는 것이 무방하다. 즉 대략 2(토큰): 1(한국어 단어)로 볼 수 있다. 즉 한국어단어 2,048단어를 생성한다고 본다.

 

---

"A4 192페이지 입력도 거뜬"

GPT-4 터보를 출시한다. 원문에는 이렇게 돼 있다. "Today we're launching a preview of the next generation of this model, GPT-4 Turbo." 핵심은 크게 세 가지다. 2023년 4월 데이터까지 학습했고 12만8000 컨텍스트 창이 있어 300페이지 넘는 텍스트를 입력할 수 있으며, 종전 GPT-4.0에 비해 입력 토큰은 3배, 출력 토큰은 2배 더 저렴한 가격하다는 것이다. GPT-4 터보는 모든 유료 개발자가 API에서 'gpt-4-1106-preview'를 통해 사용해 볼 수 있다. 오픈AI가 프리뷰라고 명명한 것은 개발은 이미 완료됐지만, 아직 공개는 이르다는 점을 시사한다. 12월에는 사용해 볼 수 있을 전망이다.

128K: 여기서 "K"는 1,000을 나타내는 "킬로"의 약자다. 따라서 "128K"는 128,000을 뜻한다.
컨텍스트 창: 모델이 이전 텍스트 데이터를 이해하고 이를 기반으로 다음 텍스트를 생성하거나 예측하는 데 사용하는 정보의 창이나 범위를 나타낸다. 즉 입력 정보 규모다.

즉, 12만8000토큰을 입력해도 전부 이해해 처리할 수 있다는 뜻이다. 감이 안 잡힐 수 있다. 영어 기준으로 1토큰은 약 0.75단어이고 한국어는 약 2.5음절 정도 된다. 또 A4 1 페이지는 영단어 500단어가 입력되고, 한국어 900음절이 입력된다.

토큰 용량: 128,000
영어 단어 수: 128,000 * 0.75 = 96,000 단어
한국어 음절 수: 128,000 / 2.5 (평균 2와 3의 중간값으로 가정) = 51,200 음절
A4 페이지 수 (영어): 96,000 단어 / 500 단어/페이지 = 192 페이지
A4 페이지 수 (한국어): 51,200 음절 / 900 음절/페이지 = 57 페이지

---

12월11일 공개 “A4 38장 처리"

16K 컨텍스트 창을 지원하는 GPT-3.5 터보도 출시됐다. GPT-3.5 터보는 JSON, XML, YAML 등 성능을 38% 개선한 것이 특징이다.. 개발자는 API에서 "gpt-3.5-turbo-1106"을 호출해, 액세스 할 수 있다. 미국 시각 12월 11일(한국시각 12일) 챗GPT를 통해 자동 업데이트 된다. 1 토큰은 약 알파벳 4개, 즉 대략 0.75 단어라고 하면, 각 모델이 처리할 수 있는 영어 단어 수는 토큰 수를 0.75로 곱한 값이다. 한국어는 한 음절을 2~3 토큰으로 가정할 수 있고, 한 토큰은 한국어 음절의 약 1/3 정도라고 할 수 있다..

토큰 용량: 16,000
영어 단어 수: 16,000 * 0.75 = 12,000 단어
한국어 음절 수: 16,000 / 2.5 = 6,400 음절
A4 페이지 수 (영어): 12,000 단어 / 500 단어/페이지 = 24 페이지
A4 페이지 수 (한국어): 6,400 음절 / 900 음절/페이지 = 7 페이지

---

함수 호출 기능 업데이트 (Function calling updates)

함수 호출을 사용할 수 있도록 했다. GPT-4 터보를 상대로 외부 애플리케이션 또는 외부 API 함수를 설명하고 호출하는 방법을 지정할 수 있다. 이를 통해 외부 함수를 호출하고 해당 함수를 실행하기 위해 필요한 인수를 생성한다. 특정 외부 서비스와 상호작용하고 특정 작업을 수행하도록 프로그래밍할 수 있다. 특히 단일 메시지로 여러 함수를 호출할 수 있는 것이 이번 업데이트 주요 사항이다. 여러 번의 대화를 통해 외부 작업을 요청했던 것을 한 번의 메시지로 처리할 수 있다는 것이다. 예를 들어보자. GPT-4.0 터보에 "차에 있는 창문을 열고 에어컨 끄는 방법을 설명해"와 같은 프롬프트를 입력할 경우 종전에는 하나만 답했지만, 이제는 두 방법을 동시에 설명할 수 있다.

---

코드 지침 명령에 대한 이해

명령어 팔로잉 개선: 특별한 지침을 잘 따르도록 설계했다. 예를 들어, '항상 XML로 응답하라'와 같은 명령을 입력할 경우, 다른 코드나 언어로 답변이 생성되지 않는다고 한다. 특정 형식으로 출력을 조작하는 작업을 더 잘 수행할 수 있다는 것이다.

 

JSON 모드 개선: 새로운 JSON 모드를 지원합니다. JSON 모드를 사용하면 모델이 유효한 JSON 형식으로 응답을 생성할 수 있도록 지원. 개발자들이 모델을 사용하여 JSON 데이터를 생성하고 처리하는 데 유용할 것으로 보인다. 또 API에서 응답 형식을 지정하기 위한 새로운 매개변수를 사용해 모델이 JSON 출력을 더 쉽게 제어할 수 있다.

---

재현 가능한 출력 및 로그 확률

재현 가능한 출력: 모델이 특정 작업을 수행할 때, 동일한 입력에 대해 항상 일관된 결과를 생성할 수 있도록 하는 기능. 이것은 디버깅, 단위 테스트, 모델 예측을 재현하기 위한 목적으로 사용할 수 있다. 예를 들어, 특정 입력에 대해 항상 동일한 출력을 얻을 수 있으므로, 문제를 파악하고 수정하기가 더 쉬워집니다. 즉, 같은 질문이 들어오면 다른 답변을 하는 것이 아니라 같은 답변을 하는 것이다. 생성 AI는 매 질문마다 출력이 달라지는데 일관성을 유지하게 해 준다.

 

로그 확률 반환: 모델이 생성한 출력 토큰에 대한 확률 정보를 반환하는 기능. 이는 모델의 예측을 더 정밀하게 이해하고 분석하는 데 필요하다. 특히 검색 환경 자동 완성과 같은 기능을 개발할 때 유용. 모델이 어떤 단어나 구를 생성할 가능성이 어느 정도인지를 파악해 더 나은 결과를 얻을 수 있다. 예를 들어, "바다에서 수영하러 가자"라는 문장을 입력한다면, "바다"라는 단어는 높은 확률로 나타나고, "우주"라는 단어는 낮은 확률로 나타나게 한다.

 

다음편에선 Dev Day 어시스턴트 API 기능을 분석한다.

[OpenAI Dev Day] ① GPT-4.0터보 "책을 통째로 이해한다" (128k 토큰)

 

[OpenAI Dev Day] ② AI 코드 몰라도, AI챗봇 만든다 (에이전트 플레이그라운드)

 

[OpenAI Dev Day] ③ 멀티모달 갖춘 GPT API (TTS 추가, 6명 목소리)