바이낸스, 데이터 처리 효율 및 안정성 개선

KHGAMES

2026.01.17 09:05:43

조회 54 추천 0 댓글 0

글로벌 최대 가상자산 거래소 바이낸스가 자체 개발한 '스몰 파일 닥터(Small File Doctor)' 프레임워크를 통해 대규모 데이터 처리 과정에서 발생하는 비효율을 개선하고 시스템 안정성을 확보했다고 밝혔다.

제공=바이낸스

대규모 데이터 웨어하우스에서 스몰 파일은 단순한 저장 구조상의 불편을 넘어, 메타데이터 처리 부담 증가, 읽기 증폭(Read Amplification), 지연 시간(Tail Latency) 악화, 불안정한 작업 등으로 이어진다. 특히, 바이낸스와 같이 거래, 모니터링, 이상 거래 탐지, 분석, 고객 지원, 재무 등 다양한 워크플로우가 동시에 이뤄지는 복잡한 운영 환경에서는 사용자 경험 저하 및 서비스 품질까지 직결될 수 있는 문제다.
바이낸스는 해당 문제의 근원적 해결을 위해 수작업 스크립트 정리가 아닌 상시 운영 가능한 프레임워크를 구축하는 데 초점을 맞췄다. 일반적인 운영 환경에서도 파일 최적화 작업을 안전하게 지속 실행하면서 지연 시간, 안정성, 비용 등을 전반적으로 개선할 수 있는 구조를 만든 것이다.
먼저 S3, HDFS 등 스토리지 메타데이터를 분석해 파일 수와 크기 분포를 파악하고, 파일 수가 지나치게 많거나 스몰 파일이 많은 디렉터리를 선별한 뒤, 데이터 소비 패턴을 기준으로 최적화 우선 순위를 정한다. 선별된 테이블과 파티션은 최적화 백로그 역할을 하는 공간에 기록된다. 이 때, 대상 디렉터리의 실제 파일 수 및 평균 파일 크기를 기준 목표 파일 크기(256MB)와 비교해 병합 여부를 결정하며, 효과가 미미한 반복작업을 방지하기 위한 안전 규칙도 함께 적용된다.
바이낸스 운영 환경을 고려한 가이드도 함께 마련됐다. 파일 최적화 작업은 클러스터 과부하를 방지하기 위해 동시 실행 수를 제한하고, 오프피크 시간대에 실시한다. 또한, 테이블·파티션별 전후 파일 수, 실행 시점, 상태를 기록하는 거버넌스 로그로 관리되어, 중간에 중단되더라도 중복 처리 없이 해당 지점부터 재개할 수 있도록 설계됐다.
바이낸스는 현재 해당 프레임워크를 통해 533개 테이블을 최적화해 5,900만개에 달하던 스몰 파일을 290만개 수준으로 줄였으며, 연간 약 9만~10만 달러 규모의 컴퓨트(compute) 및 스토리지 비용을 절감하는 데 성공했다.
바이낸스는 향후 스몰 파일 닥터를 스케쥴러와 통합, 파티션이 생성되면 병합 및 검증 등의 최적화 작업이 완료된 이후 데이터 접근이 가능하도록 구조를 변경해 성능 개선 효과를 극대화할 계획이다.
바이낸스 관계자는 "스몰 파일 닥터는 데이터 규모와 서비스 복잡성이 증가하는 환경에서 바이낸스의 시스템 안정성을 유지하는 데 중요한 역할을 하고 있다"며, "지속적인 프레임워크 고도화를 통해 '보이지 않는 병목'을 유발하는 스몰 파일 문제를 근본적으로 해결하겠다"고 전했다.

▶ 꾀돌이 토끼 등장! \'씰M 온 크로쓰\' 티저 공개 ▶ 타이거리서치, 글로벌 블록체인 데이터 플랫폼 듄과 파트너십 체결 ▶ 비피엠지-케이뱅크-UAE 체인저, 스테이블 코인 해외 송금 협업

고정닉 0

원본 첨부파일 1

300444_300713_047.png

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	해외 유명인들과 있어도 기가 전혀 죽지 않을 것 같은 스타는?	운영자	26/02/09	-	-
3919	넥슨, '블루 아카이브' 이벤트 스토리 '누구를 위한 예술인가' 업데이트	KHGAMES	15:04	0	0
3918	폴스타게임즈, 유니온투자파트너스에서 프리A 브릿지 투자 유치	KHGAMES	14:04	4	0
3917	라인게임즈, '창세기전 모바일' 신규 캐릭터 '속죄의 이올린' 등장	KHGAMES	14:02	6	0
3916	업비트 거래소에서 금일 가장 주목 받는 가상화폐는	KHGAMES	14:01	11	0
3915	포켓몬코리아, '2026 코리안리그 시즌3' 3월 7일부터 양일간 개최	KHGAMES	13:59	5	0
3914	'묵혼온라인', '붉은 말의 해' 설 및 발렌타인데이 이벤트 실시	KHGAMES	12:31	6	0
3913	나이언틱, '몬헌 나우' 2026년 첫 커뮤니티 이벤트 'Play Hot!' 서울 개최	KHGAMES	12:01	6	0
3912	카카오게임즈, 'SMiniz(슴미니즈)' 출시 전 SMTOWN 후쿠오카 콘서트 연계 오프라인 체험 진행	KHGAMES	11:24	18	0
3911	'명조:워더링 웨이브', 명조 X 컴포즈커피' 전국 콜라보 본격 돌입	KHGAMES	11:21	17	0
3910	넷마블, 신작 MMORPG 'SOL: enchant' 3월 5일 사전등록 실시	KHGAMES	11:14	11	0
3909	모바일게임 '명일방주', 인기 애니메이션 'BanG Dream! Ave Mujica'와 콜라보레이션	KHGAMES	11:06	4	0
3908	플라이빗, 2025년 4분기 가상자산 실사 보고서 공개	KHGAMES	11:06	12	0
3907	메가이더, 메인넷 공식 가동	KHGAMES	11:03	16	0
3906	바이낸스, '가상화폐 산업화 2025년 시작' 평가	KHGAMES	10:57	12	0
3905	'붕괴: 스타레일', '포트나이트'와 콜라보레이션...카프카와 블레이드 '포트나이트'에 등장	KHGAMES	10:49	9	0
3904	[위클리 PC방] "그 시절 추억 그대로"...'리니지 클래식', 점유율 13위 데뷔 [1]	KHGAMES	10:49	496	0
3903	CONX, 순환형 RWA 프로젝트 '주재범 아레나' 수상작 발표	KHGAMES	10:48	9	0
3902	코나미, '슈퍼 봄버맨 콜렉션' 디지털 버전 출시	KHGAMES	10:42	4	0
3901	그라비티 게임 테크, 로그라이크 배틀로얄 모바일 RPG 신작 '라그나로크 엔드리스 트레일' 동남아시아 지역 2차 CBT 실시	KHGAMES	10:36	9	0
3900	NHN '어비스디아', 도심 전광판·버스 랩핑 등 대규모 옥외광고로 '출시 예열'	KHGAMES	10:33	10	0
3899	'하스스톤', '스포트라이트 2026'과 차기 확장팩 '대격변' 공개	KHGAMES	10:32	10	0
3898	NHN페이코, CU편의점에서 포인트 충전·출금 서비스 개시	KHGAMES	10:25	8	0
3897	슈퍼플래닛, AI 기술 접목한 퍼즐 신작 'K-푸드 스낵바' 출시	KHGAMES	10:23	10	0
3896	스토리, 젠오와 블록체인 기반 실세계 데이터 수집 위해 협력	KHGAMES	10:21	6	0
3895	SOOP, 설날 연휴 맞아 '2026 설 특집 페이지' 공개	KHGAMES	10:17	13	0
3894	넵튠, 키움증권 MTS '영웅문S#'에 실시간 채팅 솔루션 '클랫' 공급	KHGAMES	10:14	25	0
3893	에픽게임즈 스토어, 2026 겨울 세일 진행...'검은 신화 오공', '스텔라 블레이드' 등 인기작 포함	KHGAMES	10:12	13	0
3892	'배틀그라운드' e스포츠, 2026 시즌 '로드 투 PGC' 구조 상세 공개	KHGAMES	10:09	5	0
3891	네오위즈, 2025년 실적 발표...매출액 4,327억 원, 영업이익 6백억 원	KHGAMES	10:04	16	0
3890	NHN, 성남시 노인복지관에 AI 바둑로봇 기부	KHGAMES	10:00	6	0
3889	엔씨소프트, 북미법인 퍼블리싱 총괄 '머빈 리 콰이' 영입	KHGAMES	09:57	7	0
3888	스토리프로토콜, '토큰 언락' 일정 6개월 연기	KHGAMES	06:19	26	0
3887	캉고, 가상화폐 약세장 속 보유 비트코인 매도	KHGAMES	05:42	24	0
3886	러시아 중소형 은행, 비트코인 담보 대출 상품 출시	KHGAMES	04:11	28	0
3885	비트코인 약세 국면에 전통 금융권 비판 목소리 커져	KHGAMES	02:35	26	0
3884	도이체방크, "비트코인 약세는 붕괴 아닌 재설정 국면"	KHGAMES	02:27	34	0
3883	그라비티, 라그나로크 IP 타이틀 7종에서 설 맞이 이벤트 실시	KHGAMES	02.09	13	0
3882	위메이드플레이, 2025년 매출 1,253억원·영업이익 107억원	KHGAMES	02.09	6	0
3881	위메이드맥스, 2025년 매출 98.5% 성장…개발 투자 확대 속 중장기 성장 기반 강화	KHGAMES	02.09	18	0
3880	[게임스토커] '기관·외국인 매수' 컴투스홀딩스↑, '신작 재료 소진' 엔씨소프트↓	KHGAMES	02.09	22	0
3879	김창한 크래프톤 대표 "AI 발전 예의 주시...신규 비즈니스 창출 기회 주목"	KHGAMES	02.09	22	0
3878	'리니지 클래식', 개선 방향 공개…사냥·사냥터·제작 전반 손본다	KHGAMES	02.09	50	0
3877	난이도 확낮아진 '인왕3' 똥손도 클리어 가능한 콤보 공략	KHGAMES	02.09	430	0
3876	[주간 모바일 차트] MMORPG 끝판왕 '리니지M', 구글 매출 2위 복귀	KHGAMES	02.09	48	0
3875	크래프톤, 3년간 1조 원 이상 주주환원 추진	KHGAMES	02.09	29	0
3874	크래프톤, 2025년 매출 3조 3,266억 원 달성…창사 이래 최고치 경신	KHGAMES	02.09	28	0
3873	조이시티, '바이오하자드 서바이벌 유닛' 대만·홍콩 전략 게임 1위 달성	KHGAMES	02.09	19	0
3872	게임, 예술이 되다...'33원정대', 프랑스 문예공로훈장 수상	KHGAMES	02.09	8	0
3871	업비트 거래소에서 금일 가장 주목 받는 가상화폐는…	KHGAMES	02.09	30	0
3870	[VCT 퍼시픽 킥오프] 생존 이어간 T1과 DRX…젠지는 조기 탈락	KHGAMES	02.09	8	0