엔비디아 DLSS 4.5 “2세대 트랜스포머 모델로 게임 그래픽 가속”

IT동아 · 2026.01.17 00:54:20

엔비디아는 DLSS 4 공개 1년 만에 AI 처리 성능을 개선한 DLSS 4.5를 공개했다 / 출처=엔비디아

[IT동아 강형석 기자] 인공지능(AI)이 게임 그래픽을 처리한다는 개념의 엔비디아 DLSS(Deep Learning Super Sampling) 기술은 게이밍 시장에 충격을 줬다. 4K 해상도(3840 x 2160) 출력을 위해 1080p 혹은 그보다 더 낮은 해상도로 렌더링한 후, 부족한 부분을 인공지능이 채워 고화질을 구현했기 때문이다. AI가 게임 내 움직임 데이터와 프레임(출력 영상) 정보를 분석해 실제로 렌더링했을 때와 거의 구별할 수 없는 이미지를 만들어낸다는 발상이었다.

처음 반응은 회의적이었다. DLSS 1.0은 특정 게임에서만 작동했고, 흐릿한 화질과 일부 물체 표현이 왜곡되는 문제가 있었다. 각 게임마다 별도로 AI 모델을 학습시켜야 했기에 확장성도 떨어졌다. 하지만 엔비디아는 포기하지 않았다. 2020년 소개된 2세대 DLSS(DLSS 2.0)는 범용 모델로 전환해 다수의 게임에서 작동했고, 이미지 품질도 개선됐다.

DLSS 2.0의 성공은 게임 개발의 유행을 바꿨다. 개발자들은 더 이상 해상도와 성능 사이에서 타협할 필요가 없어졌다. 실시간 광선추적(레이 트레이싱) 같은 고부하 기술을 과감하게 적용하고, DLSS로 프레임 속도를 확보하는 방식이 표준이 됐다.

2022년 소개된 3세대 DLSS(DLSS 3.0)는 프레임 생성(Frame Generation) 개념으로 또 다른 혁신을 가져왔다. AI 슈퍼 해상도가 공간의 업스케일링이라면, 프레임 생성은 시간의 업스케일링이기 때문이다. AI가 연속되는 프레임 사이에 새로운 프레임을 끼워 넣어 화면을 부드럽게 표현했다. 60 프레임으로 렌더링하면 120 프레임으로 출력되는 식이다. 더 적은 프레임을 실제로 계산하면서도 더 부드러운 게임플레이가 가능해 주목받았다.

엔비디아는 지포스 RTX 40 시리즈 그래픽 처리장치에 적용된 광학 흐름 가속기로 프레임 처리 성능을 개선했다 / 출처=엔비디아

DLSS 3.0은 지포스 RTX 40 시리즈 그래픽카드 전용 기술로 소개됐다. 지포스 RTX 40 시리즈 그래픽카드부터 적용된 광학 흐름 가속기(Optical Flow Accelerator)라는 장치를 썼기 때문이다. 이 장치는 프레임 간 픽셀 이동을 추적하는 데 특화됐고, 적은 CPU 부담으로 프레임 생성을 가능하게 했다.

비판도 있었다. 생성된 프레임에는 입력 반응이 반영되지 않아 전체 입력 지연시간이 증가한다는 지적이었다. 엔비디아는 리플렉스(Reflex) 기술로 입력 지연을 보완했다. 렌더링 처리 구조(파이프라인)을 최적화해 전체 지연시간을 줄이면서 프레임 생성으로 인한 증가분을 상쇄하는 구조다.

엔비디아는 4세대 DLSS(DLSS 4.0)으로 또 한 번 AI 그래픽 가속 기술의 혁신을 이뤘다. 6년간 사용해온 합성곱 신경망(CNN, Convolutional Neural Networks) 방식에서 트랜스포머 모델로 전환했다. 트랜스포머는 대형언어모델(LLM) 개발에 쓰인 기술이다. 이 기술이 이미지 분석에 적용되면서 그래픽 처리 능력이 크게 향상됐다. 화면 한쪽의 변화가 다른 쪽에 어떤 영향을 미치는지, 시간에 걸쳐 어떤 패턴이 반복되는지 더 잘 이해한 결과물이다.

DLSS 4는 멀티 프레임 생성 능력도 향상됐다. 이전 세대 DLSS는 한 번에 하나의 프레임을 생성했다면(2배), DLSS 4는 세 개(4배)를 더 생성한다. 전통적으로 렌더링된 프레임 하나에 세 개의 AI 생성 프레임이 추가 삽입된다. 이로써 60 프레임 출력 환경이 240 프레임 출력으로 움직임이 부드러워진다. 엔비디아는 여기서 멈추지 않고 2026년 1월, DLSS 4.5를 공개했다. 2세대 트랜스포머 모델을 토대로 화질과 화면 분석 능력이 개선된 것이 특징이다.

DLSS 4.5는 어떻게 작동하는가

DLSS는 전통적인 렌더링 파이프라인과 처리 방식에 차이가 있다. 게임 엔진은 매 프레임마다 장면을 구성하는 모든 화소(픽셀)을 계산해야 한다. 4K 해상도라면 약 830만 화소다. 추가로 각 화소의 색상을 결정하는 조명, 그림자, 반사, 텍스처 등 수많은 요소를 추가 계산한다. 레이 트레이싱이나 혼합 광선추적(패스 트레이싱)처럼 실시간 조명 환경을 정확히 구현하려면 연산량은 기하급수적으로 증가한다.

DLSS는 전체 해상도가 아닌 낮은 해상도로 먼저 렌더링하고, AI가 나머지를 채운다. 4K 출력을 위해 실제로는 1080p만 렌더링하는 식이다. 이때 실제 시스템이 처리하는 화소 수는 1/4로 줄어들면서 부하가 크게 감소한다. 이후 AI 모델이 저해상도 이미지를 4K로 업스케일링한다.

DLSS 4.5는 2세대 트랜스포머 모델을 써 그래픽 처리 성능을 개선했다 / 출처=엔비디아

업스케일링 과정에서 AI는 기존 프레임들의 정보를 활용한다. 게임 엔진에서 제공하는 모션 벡터(움직임 기록) 데이터를 사용해 물체가 어떻게 움직이는지 이해하고, 프레임 정보를 지능적으로 결합하기 위해서다. 그 결과, 자연스러운 움직임과 함께 화면 깜박임(플리커링)을 줄였다.

2세대 트랜스포머 모델은 이 과정을 한층 정교하게 다듬었다. 이미지의 한 영역이 다른 영역과 어떤 관련이 있는지, 시간에 걸쳐 패턴이 어떻게 전개되는지 빠르게 이해하는 방식이다. 엔비디아는 정확도를 높이고자 AI 연산 능력을 5배 확대했고, 다양한 고화질 데이터셋으로 학습을 진행했다. AI가 정확한 화면 판단이 가능하도록 설계한 것이다.

AI가 게임 내 데이터를 처리하는 방법도 달라졌다. 기존에는 로그 공간(데이터 처리 공간)으로 그래픽 데이터를 변환해 처리한 후 다시 게임 화면으로 되돌렸다. 이 과정에서 밝은 조명의 디테일이 손실됐다. 하지만 DLSS 4.5는 게임 엔진 내에서 직접 학습하고 추론한다. 데이터 압축 없이 관리 가능할 정도로 모델 성능이 향상됐다.

DLSS 4.5 이전과 무엇이 달라졌나

DLSS 4.5의 변화는 2세대 트랜스포머 모델 적용이다. 1세대 트랜스포머 모델 대비 5배 많은 연산 성능을 활용, 방대한 고품질 데이터들로 학습했다. 2세대 트랜스포머 모델은 장면에 대한 깊은 이해를 바탕으로 게임 내 화소 샘플링과 움직임 데이터를 더 지능적으로 활용한다. 자세한 조명효과, 정교한 모서리 표현, 움직임 선명도 개선 등이 결과물이다.

DLSS 4.5로 게임 내 그래픽 묘사가 더 선명해졌다 / 출처=엔비디아

2세대 트랜스포머 모델은 조명 효과 개선이 특징이다. 기존 TAA(Temporal Anti-Aliasing)와 초기 슈퍼 해상도(DLSS) 모델들은 플리커링을 줄이기 위해 로그 공간에서 작동했다. 하지만 이 방식은 고대비 장면에서 조명 효과가 제대로 반영되지 않거나 디테일 손실, 그림자가 뭉개지는 등 문제를 야기했다. DLSS 4.5는 게임 내부의 선형 공간을 직접 학습하고 추론한다. 개선된 AI 모델이 데이터 압축 없이도 불안정성을 관리하게 되면서, 물리적으로 정확한 조명 축적이 가능해졌다. 네온사인의 빛나는 색상과 밝은 반사가 완전한 색상 범위와 디테일을 유지하는 식이다.

프레임 생성 기술도 진전이 있었다. DLSS 4는 최대 4배 멀티 프레임 생성을 제공했다면, DLSS 4.5는 최대 6배까지 지원한다. 전통적으로 렌더링된 프레임 하나당 최대 5개의 추가 프레임을 생성한다는 뜻이다. 엔비디아 자료에 따르면 지포스 RTX 50 시리즈 그래픽카드를 활용해 프레임 생성을 4배에서 6배로 전환할 경우 4K 환경의 패스 트레이싱 게임에서 프레임 수가 최대 35% 증가한다.

인공지능으로 게임 성능은 유지하되 그래픽카드 부하를 조절하는 동적 멀티 프레임 생성 기술도 DLSS 4.5에 적용됐다 / 출처=엔비디아

동적 멀티 프레임 생성(Dynamic Multi Frame Generation) 기술은 DLSS 4.5의 강점으로 꼽힌다. 고정 프레임 배율로 작동하는 대신, 그래픽카드 성능과 디스플레이 주사율 출력 간격을 지속적으로 모니터링하며 실시간으로 프레임 수를 조정한다. 시스템 부하가 높은 상황에서는 프레임 생성을 늘려 성능 저하를 보완하고, 부하가 줄어들면 프레임 비율을 낮춰 필요한 만큼만 연산한다. 프레임 수와 이미지 품질, 반응성 사이의 최적 균형을 찾는 구조다.

호환성 측면에서도 주목할 만하다. 동적 멀티 프레임 생성, 6배 멀티 프레임 생성, 2세대 트랜스포머 슈퍼 해상도 모델은 모두 기존 DLSS 기술과 호환되도록 설계됐다. 개발자들이 게임을 DLSS 4.5로 업그레이드하는 데 단 몇 번의 클릭만 하면 된다는 뜻이다. 엔비디아는 400개 이상의 타이틀이 DLSS 4.5 슈퍼 해상도를 지원하며, 250개 이상의 게임과 앱이 멀티 프레임 생성을 지원한다고 발표했다.

DLSS 4.5는 지포스 RTX 40, 50 시리즈 그래픽 처리장치(GPU)에 적용된 텐서(Tensor) 코어의 이점을 누린다. FP8 정밀도 기능을 활용해 하드웨어가 추론 처리량을 두 배로 확장하면서, 2세대 트랜스포머가 실행된다. 반면, 네이티브 FP8 지원이 없는 지포스 RTX 20, 30 시리즈 그래픽카드는 DLSS 4.5의 모든 기술을 사용하지 못한다. 해당 그래픽카드 사용자는 성능과 이미지 품질의 최적 균형을 위해 기존 DLSS 4.0 기술을 쓰는 게 유리하다.

AI 렌더링 기술의 미래는?

젠슨 황(Jensen Huang) 엔비디아 최고경영자는 GTC 2025에서 뉴럴 렌더링(Neural Rendering) 개념을 강조했다. 전통적인 래스터화나 레이ㆍ패스 트레이싱에 AI를 보조로 사용하는 수준이 아니라, AI가 렌더링 파이프라인의 핵심으로 부상할 것이라고 언급했다. 일부 프레임만 GPU가 렌더링하고 나머지는 AI가 생성하는 DLSS 방식에서 장기적으로 화소 대부분이 AI에 의해 생성되는 방향으로 나아갈 것임을 암시하는 부분이다.

젠슨 황 엔비디아 최고경영자는 GTC 2025에서 뉴럴 렌더링 개념을 언급했다 / 출처=엔비디아

AI 렌더링 기술은 빠르게 발전 중이다. DLSS 4.5의 울트라 퍼포먼스 모드에서는 실제 화면 해상도의 1/9만 렌더링한다. 4K 출력을 위해 GPU는 720p로 렌더링하고 나머지 픽셀은 AI가 만들기 때문이다. 6배 멀티 프레임 생성 기술을 쓰면 최종 출력의 98% 이상이 AI가 처리할 정도다.

트랜스포머 기술의 진화는 계속될 것이다. 자연어 처리 분야의 발전을 생각해보면, 모델 크기와 학습 데이터가 늘어날수록 성능이 계단식으로 향상됐다. 이미지 렌더링에서도 같은 패턴이 나타날 가능성이 크다. 3세대, 4세대 트랜스포머 모델은 더 많은 컨텍스트를 이해하고 복잡한 장면을 다루며, 적은 시스템 자원으로 고해상도 그래픽을 출력할 것이다.

화질 일관성도 개선의 여지가 많다. 현재 DLSS는 몇 프레임의 처리 이력을 활용하지만, 이론적으로 수십 또는 수백 프레임에 걸친 패턴 학습이 가능하다. 장면의 구조 흐름을 이해하면 더 안정적이고 일관된 이미지 생성이 가능하다. 플리커링이나 고스팅(화면 번짐) 같은 문제들이 사라질 전망이다.

프레임 생성의 배율도 혁신이 예상된다. 개선된 AI 모델과 알고리즘이 개발되면 10배, 20배도 가능하다. 극단적으로 접근하면 초당 1~2개의 키프레임(주 화면)만 전통적으로 렌더링하고, AI가 그 사이를 모두 채우는 방식도 불가능은 아니다.

AI 그래픽 연산 기술은 모바일과 클라우드 게이밍에 긍정적인 영향을 준다. 스마트폰이나 클라우드 서버에서 저해상도 렌더링을 수행하고, AI가 고해상도로 업스케일링하면 대역폭과 연산 자원을 절약할 수 있다. 고속 무선 네트워크와 결합하면 고사양 PC, 콘솔 게임기가 없이도 최고 품질의 게임을 즐기는 환경이 조성된다.

물론 해결해야 될 과제도 존재한다. AI 모델 학습에는 막대한 연산 자원이 필요하다. 현재 DLSS를 구현하려면 게임 데이터를 엔비디아 AI 데이터 센터로 보내 학습을 진행해야 된다. DLSS 지원 게임 수가 많아질수록 더 많은 데이터 센터가 필요하고 자연스레 전력, 반도체 시장 부담으로 이어진다. AI 모델의 편향(bias) 문제도 해결 과제다. 특정 장면이나 콘텐츠에서만 잘 작동하고 다른 곳에서는 불필요한 효과를 만들 가능성이 남았다. 더 다양하고 대표성을 갖춘 학습 데이터가 필요하다. 그럼에도 엔비디아 DLSS 4.5는 AI 기반 3D 그래픽 처리 기술의 변화를 알리는 이정표가 될 전망이다.

IT동아 강형석 기자 (redbk@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	결혼 상대로 만나면 피곤할 것 같은 스타는?	운영자	26/02/02	-	-
6592	마크 저커버그가 꿈꾸는 세 번째 인터넷 시대, 슈퍼 인텔리전스는 무엇일까? [19]	IT동아	02.06	1238	7
6591	유튜브에 들어온 제미나이, ‘시청 흐름 끊지 않고 궁금증 해결’ [1]	IT동아	02.06	53	0
6590	모빌린트, 스페이스린텍과 함께 '우주 산업용 AI 반도체' 도전한다	IT동아	02.06	27	0
6589	교육 인프라 공백 메우는 에듀테크…개발도상국에서 가능성 시험	IT동아	02.06	30	0
6588	[스타트업-ing] 라젠카AI “데이터 인공지능으로 헬스케어 금융 불편 해소”	IT동아	02.06	23	0
6587	과학계 이어 오픈AI까지 사로잡은 美 세레브라스, AI 반도체 업계 신화 쓸까	IT동아	02.06	54	0
6586	[생활 속 IT] 통장·카드 없이 ATM 출금 어떻게 할까···스마트폰 하나로 OK [1]	IT동아	02.06	932	4
6585	[리뷰] RTX 3050급 내장 그래픽 인상적, 인텔 코어 울트라 X7 358H	IT동아	02.05	129	0
6584	북한 해커들의 긴 잠복...2025년 사이버 공격, 무엇이 달랐나 [6]	IT동아	02.05	1332	6
6583	수호아이오, SDMS 2026 개최···스테이블코인 규제·솔루션 논의	IT동아	02.05	27	0
6582	[기고] 창업으로 문제 해결하며 사회 가치를 창출한다	IT동아	02.05	34	0
6581	[황성진의 '고대 사상가, AI를 만나다'] 한비자가 챗GPT를 쓴다면 절대 하지 않을 세 가지 [1]	IT동아	02.05	615	0
6580	콕스웨이브 “AI 서비스 신뢰성 높이는 분석 플랫폼, 얼라인” [경북대 X IT동아]	IT동아	02.05	33	0
6579	"이메일까지 가능" 털린 내 정보 찾기, 계정 유출 여부 무료로 확인하는 방법	IT동아	02.04	42	0
6578	[신차공개] ‘더 뉴 벤츠 S 클래스’ 공개·‘뉴 디펜더 부분변경’ 출시	IT동아	02.04	38	0
6577	[주간스타트업동향] 스텔라비전, 2025년 글로벌 성과 점검... 2026년 본격 도약 준비 外	IT동아	02.04	33	0
6576	월 1만 원대 요금제로 맞붙는 구글·오픈AI, 가성비 면에선 구글이 '압승'	IT동아	02.04	99	0
6575	[스타트업-ing] 메디플렉서스 “전통과 결합한 데이터 CRO, 임상 전주기 체계 선도”	IT동아	02.04	33	0
6574	오라클 “데이터베이스 기업에서 AIㆍ데이터 잘 다루는 기업으로”	IT동아	02.03	32	0
6573	“데이터팩토리 구축ㆍ인재양성에 속도” 한국피지컬AI협회의 2026년 전략은?	IT동아	02.03	32	0
6572	특허 AI에 국산 AI 반도체 얹었다··· 워트인텔리전스-리벨리온 협업 나서	IT동아	02.03	42	0
6571	알파고와 챗GPT 다음의 ‘특이점’, AGI란 무엇? [4]	IT동아	02.03	560	2
6570	[위클리AI] 구글, 1만 원대 'AI 플러스' 출시에 한국 포함···오픈AI와 정면 승부 [7]	IT동아	02.03	2207	1
6569	하이퍼엑셀, 대만 어드밴텍과 양해각서 체결··· 'LPU 확산에 시동'	IT동아	02.03	36	0
6568	노타·퓨리오사AI, AI 최적화 기술 협력으로 공동 사업화 나선다	IT동아	02.03	33	0
6567	업비트·빗썸, 2025년 이용자·서비스 현황 공개···디지털자산 투자 대중화	IT동아	02.03	55	0
6566	[뉴스줌인] "우리만의 AI 필수"... 세계 각국이 '소버린 AI'에 꽂힌 이유	IT동아	02.02	54	0
6565	[투자를IT다] 2026년 1월 5주차 IT기업 주요 소식과 시장 전망	IT동아	02.02	43	0
6564	[리뷰] 저전력·고성능의 극적인 조합, 인텔 코어 울트라 X9 388H	IT동아	02.02	56	0
6563	서울과기대 창업지원단 "글로벌오픈이노베이션 IR 데모데이, 딥테크 스타트업 해외 진출 청신호"	IT동아	02.02	38	0
6562	서울과기대 창업지원단, 딥테크 브릿지 주관···창업기업 만족도 상승	IT동아	02.02	33	0
6561	이통3사, AI 기본법 시행 맞춰 거버넌스 강화	IT동아	02.02	35	0
6560	[정석희의 기후 에너지 인사이트] 3. AI 시대의 에너지 해법 [3]	IT동아	02.02	599	3
6559	[리뷰] "빠른 입력 반응에 유무선 편의성까지 품다" 체리 엑스트리파이 MX 8.2 프로 TMR TKL 와이어리스	IT동아	01.30	86	0
6558	다리소프트 "자율주행시대에 걸맞은 AI 기반 도로관리 솔루션"[경북대 X IT동아]	IT동아	01.30	43	0
6557	초기투자액셀러레이터협회, '2026 투자자 서밋 부산' 개최... '투자자 넘어 설계자로'	IT동아	01.30	40	0
6556	“듣는 음악 넘어 함께 소통하는 음악으로”...버시스가 그리는 AI 뮤직테크의 미래 [경북대 X IT동아]	IT동아	01.30	37	0
6555	[크립토퀵서치] '1거래소 1은행' 체계는 무엇인가요?	IT동아	01.30	39	0
6554	벼랑 끝 소상공인 100만 시대, 우리은행 ‘AIgency’팀이 보낸 따뜻한 '시그널' 이야기	IT동아	01.30	47	0
6553	[리뷰] 한 끗 성능까지 끌어올린 게이밍 프로세서, AMD 라이젠 7 9850X3D	IT동아	01.30	77	0
6552	SBA "마곡입주기업협의회와 함께 문화산업단지 구축"	IT동아	01.30	33	0
6551	초격차 개방형 혁신 수요기업 협의회 "대기업·스타트업 동반 성장 고도화"	IT동아	01.30	90	0
6550	AI 협업툴로 성장성 증명한 플로우, AI 융합과 글로벌 확장에 속도낼 것	IT동아	01.30	103	0
6549	기대와 우려 공존한 “AI 기본법 시행에 따른 산업 생태계 육성전략 세미나” [7]	IT동아	01.30	847	0
6548	[리뷰] 내실 극대화한 ‘로닌’ 시리즈의 최신작, DJI RS 5	IT동아	01.29	43	0
6547	[크립토퀵서치] 구글플레이는 왜 미신고 거래소 앱을 차단하나요? [3]	IT동아	01.29	910	1
6546	[AI 써봄] 쾌적한 학습을 도와주는 AI 도구, 세타웨이브	IT동아	01.28	40	0
6545	“디지털 검색광고 운영 혁신 주도” 3년 연속 고성장한 보라웨어의 비결은?	IT동아	01.28	45	0
6544	[주간스타트업동향] 아크릴, 통합 AI 플랫폼 '조나단'과 로봇 시스템 연동 성공 外	IT동아	01.28	37	0
6543	우주로 확장되는 전쟁터, 스타링크 위성통신 역할은	IT동아	01.28	34	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

DLSS 4.5는 어떻게 작동하는가

DLSS 4.5 이전과 무엇이 달라졌나

AI 렌더링 기술의 미래는?

▶ AI 열풍에 ‘금값’ 된 PC 부품, 기다림만이 답은 아니다▶ [스타트업리뷰] 기업 채용 업무 효율성 높이는 세컨드팀 ‘AI면접관’▶ [경북대 X IT동아] 네오덱스 "개구기에서 의료 AI까지, 치의학계의 '퍼스트 무버' 될 것"

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

파워링크 광고

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

▶ AI 열풍에 ‘금값’ 된 PC 부품, 기다림만이 답은 아니다 ▶ [스타트업리뷰] 기업 채용 업무 효율성 높이는 세컨드팀 ‘AI면접관’▶ [경북대 X IT동아] 네오덱스 "개구기에서 의료 AI까지, 치의학계의 '퍼스트 무버' 될 것"