"하나의 서버로 8억 명 감당… 오픈AI가 밝힌 챗GPT 무중단 비결"

aimatters · 2026.01.23 15:23:35

오픈AI가 챗GPT 사용자 8억 명을 단 하나의 주 데이터베이스로 지원하고 있다는 사실을 공개했다. 해당 리포트에 따르면, 지난 1년간 데이터베이스 처리량이 10배나 늘어났지만, 오픈AI는 포스트그레SQL(PostgreSQL)이라는 데이터베이스 시스템 하나로 초당 수백만 건의 요청을 안정적으로 처리하고 있다. 오픈AI의 기술 보고서는 생성형 AI 서비스의 폭발적 성장을 뒷받침하는 데이터 저장 기술의 진화 과정을 담고 있다.

챗GPT 출시 후 사용자 폭증… 전 세계 50개 서버로 분산 처리

오픈AI는 챗GPT와 API 서비스를 운영하는 핵심 데이터 저장 시스템으로 포스트그레SQL을 수년간 사용해 왔다. 미국 버클리 캘리포니아 대학교에서 처음 개발된 이 시스템은 현재 단 하나의 주 서버와 전 세계 여러 지역에 흩어진 약 50개의 복제 서버로 구성되어 있다. 이 구조로 8억 명의 사용자가 만들어내는 엄청난 양의 데이터 요청을 처리한다는 점이 놀랍다.

챗GPT가 출시된 후 사용자는 전례 없는 속도로 증가했다. 오픈AI는 이에 대응하기 위해 애플리케이션과 데이터베이스 양쪽 모두에서 대대적인 개선 작업을 빠르게 진행했다. 서버의 성능을 높이는 동시에 데이터를 읽는 서버를 추가로 설치해 부하를 분산시켰다. 이런 구조는 지속적인 개선을 통해 현재까지도 앞으로의 성장을 충분히 감당할 수 있는 여유를 갖추고 있다.

하나의 주 서버가 다운되면 전체 서비스 마비… 과거 여러 차례 장애 경험

오픈AI 규모에서 단 하나의 주 서버만 사용한다는 것은 놀랍지만, 실제로는 많은 어려움이 있었다. 오픈AI는 데이터베이스 과부하로 인한 여러 차례의 심각한 서비스 장애를 겪었다. 이런 장애들은 비슷한 패턴을 보였다. 임시 저장 시스템 고장으로 인한 대규모 데이터 요청 급증, 복잡한 데이터 검색 작업이 처리 능력을 모두 소진하는 경우, 새로운 기능 출시로 인한 데이터 저장 요청 폭주 등이 대표적이다.

서버 사용률이 증가하면 응답 시간이 늘어나고 요청이 실패하기 시작한다. 그러면 사용자들이 재시도를 하면서 부하가 더욱 증가해 챗GPT와 API 서비스 전체가 느려지는 악순환이 발생한다. 오픈AI는 데이터를 읽는 작업에서는 포스트그레SQL이 잘 작동하지만, 데이터를 저장하는 작업이 많을 때는 여전히 문제가 발생한다고 설명했다. 이는 주로 포스트그레SQL의 데이터 관리 방식 때문이다. 데이터를 수정할 때 전체 내용을 복사해서 새 버전을 만들기 때문에, 저장 작업이 많아지면 실제보다 훨씬 많은 데이터를 처리해야 한다.

저장 작업 많은 업무는 다른 시스템으로 분산… 주 서버 부담 줄여

이런 문제를 해결하고 저장 부담을 줄이기 위해, 오픈AI는 데이터 저장이 많이 필요한 작업들을 애저 코스모스DB(Azure Cosmos DB) 같은 다른 시스템으로 계속 옮기고 있다. 애플리케이션도 불필요한 저장 작업을 최소화하도록 개선했다. 또한 현재 포스트그레SQL에 새로운 데이터 저장 공간을 추가하는 것을 더 이상 허용하지 않으며, 새로운 작업은 기본적으로 분산 시스템을 사용한다.

오픈AI의 시스템이 발전했지만, 포스트그레SQL은 여전히 하나의 주 서버가 모든 저장 작업을 처리하는 구조를 유지하고 있다. 주된 이유는 기존 시스템을 여러 개로 나누는 작업이 매우 복잡하고 오래 걸리기 때문이다. 수백 개의 연결 지점을 변경해야 하고, 몇 달 또는 몇 년이 걸릴 수 있다. 대부분의 작업이 데이터를 읽는 것이고 많은 개선을 했기 때문에, 현재 구조로도 계속되는 사용자 증가를 충분히 감당할 수 있다. 미래에 여러 서버로 나누는 것을 완전히 배제하지는 않지만, 당장은 우선순위가 아니라고 밝혔다.

주 서버 부담 줄이기부터 속도 제한까지 8가지 핵심 전략

오픈AI는 포스트그레SQL을 초당 수백만 건 처리 수준으로 확장하기 위해 다양한 개선 작업을 실행했다.

첫째, 주 서버의 부담을 최대한 줄였다. 저장 작업을 처리하는 서버가 하나뿐이기 때문에 저장 요청이 갑자기 늘어나면 서버가 빠르게 과부하될 수 있다. 오픈AI는 주 서버의 부담을 최대한 줄이기 위해 읽기와 저장 작업 모두를 최소화한다. 데이터를 읽는 요청은 가능한 한 복제 서버로 보내고, 주 서버에 남아야 하는 읽기 작업은 효율적으로 처리되도록 집중 관리한다.

둘째, 데이터 검색 작업을 최적화했다. 오픈AI는 처리 비용이 많이 드는 여러 검색 작업을 발견했다. 과거에는 이런 작업이 갑자기 늘어나면 처리 능력을 많이 소비해서 챗GPT와 API 요청이 모두 느려졌다. 복잡한 다중 검색은 가능한 한 피해야 하며, 필요하다면 검색 작업을 나누고 복잡한 처리는 애플리케이션에서 하도록 변경하는 것이 좋다.

셋째, 주 서버 고장 대비책을 마련했다. 데이터를 읽는 서버 하나가 다운되면 다른 서버로 요청을 보낼 수 있지만, 저장 작업을 처리하는 서버가 하나뿐이라는 것은 큰 약점이다. 주 서버가 다운되면 전체 서비스가 영향을 받는다. 오픈AI는 대부분의 중요한 요청이 데이터를 읽기만 한다는 점을 활용해, 이런 읽기 작업을 주 서버에서 복제 서버로 옮겼다. 이를 통해 주 서버가 다운되더라도 읽기 요청은 계속 처리될 수 있다. 저장 작업은 여전히 실패하지만, 읽기가 계속 가능하므로 최고 심각도 장애는 아니다.

넷째, 작업 부하를 분리했다. 특정 요청이 서버 자원을 지나치게 많이 사용하는 상황이 자주 발생한다. 이는 같은 서버에서 실행되는 다른 작업의 성능 저하를 초래할 수 있다. 오픈AI는 이 "시끄러운 이웃" 문제를 해결하기 위해 작업 부하를 별도의 서버로 분리한다. 구체적으로 요청을 중요도가 낮은 것과 높은 것으로 나누고 별도의 서버로 보낸다. 이렇게 하면 중요도가 낮은 작업이 자원을 많이 쓰더라도 중요한 요청의 성능은 영향받지 않는다.

다섯째, 연결 관리를 개선했다. 각 서버에는 최대 연결 개수 제한이 있다. 연결이 부족하거나 사용하지 않는 연결이 너무 많이 쌓이기 쉽다. 오픈AI는 과거 모든 가용 연결이 소진된 사고를 겪었다. 이를 해결하기 위해 중간 관리 시스템을 설치해 데이터베이스 연결을 효율적으로 관리한다. 이를 통해 연결을 재사용할 수 있어 연결 개수가 크게 줄어든다. 테스트 결과 평균 연결 시간이 50밀리초에서 5밀리초로 감소했다.

여섯째, 임시 저장 기능을 강화했다. 임시 저장된 데이터를 찾지 못하는 상황이 갑자기 늘어나면 데이터베이스로 요청이 쏟아져 처리 능력이 부족해지고 사용자 요청이 느려질 수 있다. 오픈AI는 데이터베이스의 부담을 줄이기 위해 임시 저장 기능을 사용해 대부분의 읽기 요청을 처리한다.

일곱째, 복제 서버 확장 방법을 개선했다. 주 서버는 모든 복제 서버에 데이터 변경 기록을 전송해야 한다. 복제 서버 개수가 늘어나면 주 서버가 더 많은 서버에 기록을 보내야 하므로 네트워크와 처리 능력 모두에 부담이 증가한다. 오픈AI는 현재 여러 지역에 약 50개의 복제 서버를 운영해 응답 시간을 최소화한다. 현재는 주 서버가 모든 복제 서버에 직접 기록을 전송해야 하지만, 매우 큰 서버와 높은 네트워크 성능으로 잘 작동한다. 오픈AI는 애저 포스트그레SQL 팀과 협력해 중간 복제 서버가 하위 서버에 기록을 전달하는 계단식 구조를 테스트하고 있다. 이를 통해 주 서버에 부담을 주지 않고 100개 이상의 복제 서버로 확장할 수 있다.

여덟째, 요청 속도 제한을 적용했다. 특정 요청이 갑자기 늘어나거나, 처리 비용이 많이 드는 검색이 급증하거나, 재시도가 폭주하면 처리 능력, 입출력, 연결 등 중요한 자원이 빠르게 소진되어 서비스 전체가 느려질 수 있다. 오픈AI는 여러 단계에서 속도 제한을 적용해 갑작스러운 요청 증가가 데이터베이스를 압도하고 연쇄 장애를 일으키는 것을 방지한다.

응답 시간 수십 밀리초에 99.999% 안정성 달성

이런 노력의 결과, 오픈AI는 애저 포스트그레SQL을 가장 대규모 서비스에도 사용할 수 있도록 확장할 수 있음을 증명했다. 포스트그레SQL은 데이터를 읽는 작업에서 초당 수백만 건을 처리하며, 챗GPT 및 API 같은 오픈AI의 가장 중요한 서비스를 운영한다. 약 50개의 복제 서버를 추가하면서도 데이터 동기화 지연을 거의 0에 가깝게 유지했으며, 전 세계 여러 지역에서 빠른 응답 시간을 유지하고, 미래 성장을 위한 충분한 여유를 확보했다.

이런 확장은 응답 시간을 최소화하고 안정성을 향상시키면서 이루어졌다. 오픈AI는 실제 서비스에서 지속적으로 수십 밀리초의 응답 시간과 99.999%의 안정성을 제공한다. 지난 12개월 동안 단 한 건의 최고 심각도 데이터베이스 장애만 발생했다. 이는 챗GPT 이미지 생성 기능이 급속히 확산될 때 발생했는데, 당시 1주일 만에 1억 명 이상의 신규 사용자가 가입하면서 저장 요청이 갑자기 10배 이상 급증했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 오픈AI는 왜 8억 사용자를 하나의 데이터베이스로 처리할 수 있나요?

A. 챗GPT와 API 서비스는 대부분 데이터를 읽기만 하고 저장하는 경우가 적다는 특성이 있다. 오픈AI는 하나의 주 서버에서 모든 저장 작업을 처리하고, 전 세계 여러 지역에 흩어진 약 50개의 복제 서버로 읽기 요청을 분산시킨다. 또한 임시 저장, 연결 관리, 검색 최적화 등 다양한 기술 개선을 통해 서버 부담을 최소화했다.

Q2. 포스트그레SQL의 가장 큰 문제점은 무엇인가요?

A. 포스트그레SQL은 데이터를 읽는 작업에서는 잘 작동하지만, 저장 작업이 많을 때는 효율이 떨어진다. 데이터를 수정할 때 전체 내용을 복사해서 새 버전을 만드는 방식을 사용하기 때문이다. 저장 작업이 많은 상황에서는 실제보다 훨씬 많은 데이터를 처리해야 한다. 오픈AI는 이를 해결하기 위해 저장 작업이 많은 업무를 애저 코스모스DB 같은 다른 시스템으로 옮기고 있다.

Q3. 오픈AI는 데이터베이스 장애를 어떻게 예방하나요?

A. 오픈AI는 작업 부하 분리, 속도 제한, 임시 저장 잠금 장치 등을 활용해 장애를 예방한다. 작업 부하 분리는 중요도에 따라 요청을 별도의 서버로 나누어 한 작업의 문제가 다른 작업에 영향을 주지 않도록 한다. 속도 제한은 갑작스러운 요청 증가를 막으며, 임시 저장 잠금 장치는 같은 데이터를 찾는 여러 요청 중 하나만 데이터베이스에 접근하도록 해서 불필요한 부담을 줄인다.

기사에 인용된 리포트 원문은 Ope n AI에서 확인 가능하다.

리포트명: Scaling PostgreSQL to power 800 million ChatGPT users

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

번호	제목	글쓴이	작성일	조회	추천
설문	해외 유명인들과 있어도 기가 전혀 죽지 않을 것 같은 스타는?	운영자	26/02/09	-	-
이슈	[디시人터뷰] '따로 또 같이' 피어난 걸그룹 tripleS	운영자	26/02/10	-	-
2060	앤트로픽이 경고하는 클로드 오퍼스 4.6의 8가지 위험 경로 시나리오	aimatters	02.12	20	0
2059	"개인 컴퓨터로 초거대 AI 학습 가능해진다"... 12배 빠른 신기술 등장	aimatters	02.12	23	0
2058	AI가 제안서부터 재무보고서까지 '완성 파일'로 뚝딱… 중국 GLM-5 충격 [3]	aimatters	02.12	546	3
2057	한국 교육부, 2028년부터 AI로 수능 영어 지문 만든다	aimatters	02.12	16	0
2056	앤트로픽, 파워포인트용 클로드 베타 출시…템플릿 인식해 슬라이드 자동 생성	aimatters	02.12	21	0
2055	요기요, 챗GPT에 국내 배달앱 최초로 앱 개설… "대화로 맛집 찾고 주문까지"	aimatters	02.12	22	0
2054	AI가 의식을 가졌다고? 몰트북 실험이 폭로한 충격적 진실 [7]	aimatters	02.11	2479	9
2053	아이소모픽랩스, 15년 걸린 발견 몇 초 만에… 알파폴드3 뛰어넘는 AI 신약 엔진 공개	aimatters	02.11	45	0
2052	"한자도 완벽 재현"… 알리바바 Qwen-Image-2.0, 이미지 속 텍스트 문제 해결	aimatters	02.11	49	0
2051	앤트로픽 '코워크', 윈도우 지원 시작… 맥OS와 동일 기능 제공	aimatters	02.11	24	0
2050	오픈AI, 챗GPT에 광고 도입… 무료·저가 사용자 대상 테스트 시작	aimatters	02.11	43	0
2049	커서, 강화학습 20배 확대한 'Composer 1.5' 공개… "속도와 성능 균형 맞췄다"	aimatters	02.11	31	0
2048	"우주 방사선 속에서도 오류 96% 차단"…위성 AI 칩의 비밀	aimatters	02.11	36	0
2047	BMW·벤츠 AI 비서, 해커 손에 차량 제어권 넘긴다	aimatters	02.11	471	1
2046	2025년 학술 논문, 전년 대비 가짜 인용 81% 급증... AI 에이전트가 원인	aimatters	02.11	463	3
2045	챗GPT 앱 사용 시간 1년 만에 8배 폭증…한국인 AI 활용 급증	aimatters	02.11	35	0
2044	메타 AI, 신모델 '아보카도'와 브라우저 에이전트 출시 준비 포착	aimatters	02.10	35	0
2043	오픈클로 창시자, "앱의 80%가 사라질 것"	aimatters	02.10	58	0
2042	샘 알트만 "챗GPT 월간 성장률 10% 돌파"... 오픈AI, 1000억 달러 투자 유치 막바지 [14]	aimatters	02.10	970	0
2041	2만 달러 주고 AI한테 맡겼더니… 2주 만에 10만 줄 프로그램 완성	aimatters	02.09	113	0
2040	카카오·네이버·당근마켓, 오픈클로 사용 금지령… AI 에이전트 보안 공포 확산 [14]	aimatters	02.09	2772	6
2039	인스타그램 창업자, 개발자는 이제 코드 안 짠다..."앤트로픽 코드 100% AI가 작성"	aimatters	02.09	103	0
2038	메타 레이밴 글라스가 진짜 AI 비서로… 보고 듣고 심부름까지 척척	aimatters	02.09	56	1
2037	AI 수백 개가 밤낮없이 코딩… 일주일간 혼자 웹브라우저 만든 인공지능 팀의 비밀	aimatters	02.06	211	0
2036	GPT-5, 2개월 만에 단백질 생산비 40% 낮춰... 약값 인하 기대	aimatters	02.06	84	0
2035	20대·저학력층이 가장 위험하다… AI 그럴듯한 거짓말에 무방비	aimatters	02.06	127	0
2034	"AI가 AI를 만드는 시대 열렸다"… 오픈AI, 자기 학습 모델 'GPT-5.3-Codex' 공개	aimatters	02.06	68	0
2033	"챗GPT 5.2 제쳤다"… 앤트로픽, 클로드 Opus 4.6 신모델 공개	aimatters	02.06	112	0
2032	"AI 직원을 여러분 회사에 파견합니다 기존 AI 같이 쓰세요"… 오픈AI, 기업용 AI 공개 [3]	aimatters	02.06	1772	1
2031	"클로드·GPT·제미나이 한 번에 물어본다"… 퍼플렉시티, AI 동시 활용 기능 출시	aimatters	02.06	154	0
2030	AI가 빅맥보다 맛있는 버거를 만든다?... "맛·환경·영양 모두 잡았다" [12]	aimatters	02.05	772	4
2029	"클로드 너마저" AI 코딩 에이전트, 실전 투입했더니 10개 중 8개 낙제… "파이썬만 한다"	aimatters	02.05	111	0
2028	"유튜브 영상 한 번만 보면 농구 척척"… 단 1개 영상으로 10가지 기술 배우는 로봇	aimatters	02.05	62	0
2027	"AI가 인간 과학자의 90%를 대체한다"...세계 물리학자들의 충격 고백	aimatters	02.05	76	0
2026	연속 질문 및 최저가 구매 요청...아마존 프라임 회원 AI 알렉사 공짜로 쓴다	aimatters	02.05	33	0
2025	AI가 만든 가짜 판례 제출한 미국변호사들… 1,700만원 벌금 폭탄	aimatters	02.05	68	0
2024	튜링테스트는 통과했지만, AI가 사람처럼 생각할 필요가 있을까?	aimatters	02.04	67	0
2023	AI '상상'만으로 웹서핑 마스터... 실수로 물건 사버릴 걱정 끝났다 [3]	aimatters	02.04	1644	3
2022	챗GPT∙제미나이, 일반 AI에게도 보드게임 졌다?	aimatters	02.04	84	0
2021	AI 발전시킨다던 오라클, 정작 데이터센터 설립 자금 마련하려 3만 명 해고 추진	aimatters	02.04	154	0
2020	"AI가 코드 짜고 오류 고친다"… 애플, 개발 도구에 클로드·코덱스 탑재	aimatters	02.04	50	0
2019	AI 코딩 에이전트의 치명적 DB 실수 막는다... 슈퍼베이스 가이드 공개	aimatters	02.04	36	0
2018	NASA "AI가 화성 길 찾아줬다"… 클로드, 3억km 떨어진 탐사선 경로 설계	aimatters	02.03	86	1
2017	오픈AI, "AI가 AI를 관리한다"… 여러 AI 비서 동시에 부리는 코덱스 앱 출시 [1]	aimatters	02.03	124	0
2016	일론 머스크 "AI 미래는 우주에"... 스페이스X와 xAI 공식 합병 발표 [14]	aimatters	02.03	1316	6
2015	"학생들 AI로 과제 다 한다고?"... 교수-학생, 서로를 크게 착각하고 있었다 [15]	aimatters	02.03	3010	3
2014	"유명인 AI 딥페이크 성범죄 제작법 알려준다"… 30만 커뮤니티의 충격적 실체 [1]	aimatters	02.03	436	0
2013	AI에게 복잡한 질문? 전기 25배 더 쓴다... 그 이유는 뭘까?	aimatters	02.03	79	0
2012	AI가 AI 보안 무력화… 챗GPT·클로드 등 41개 모델 '숨겨진 지침서' 100% 유출	aimatters	02.02	77	0
2011	기업들 AI에 200조 원 쏟아붓지만 '신뢰·데이터·직원 교육' 문제 여전 [2]	aimatters	02.02	1063	2

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[AI 매터스 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘