엔비디아 DLSS 4.5 “2세대 트랜스포머 모델로 게임 그래픽 가속”

IT동아 · 2026.01.17 00:54:20

엔비디아는 DLSS 4 공개 1년 만에 AI 처리 성능을 개선한 DLSS 4.5를 공개했다 / 출처=엔비디아

[IT동아 강형석 기자] 인공지능(AI)이 게임 그래픽을 처리한다는 개념의 엔비디아 DLSS(Deep Learning Super Sampling) 기술은 게이밍 시장에 충격을 줬다. 4K 해상도(3840 x 2160) 출력을 위해 1080p 혹은 그보다 더 낮은 해상도로 렌더링한 후, 부족한 부분을 인공지능이 채워 고화질을 구현했기 때문이다. AI가 게임 내 움직임 데이터와 프레임(출력 영상) 정보를 분석해 실제로 렌더링했을 때와 거의 구별할 수 없는 이미지를 만들어낸다는 발상이었다.

처음 반응은 회의적이었다. DLSS 1.0은 특정 게임에서만 작동했고, 흐릿한 화질과 일부 물체 표현이 왜곡되는 문제가 있었다. 각 게임마다 별도로 AI 모델을 학습시켜야 했기에 확장성도 떨어졌다. 하지만 엔비디아는 포기하지 않았다. 2020년 소개된 2세대 DLSS(DLSS 2.0)는 범용 모델로 전환해 다수의 게임에서 작동했고, 이미지 품질도 개선됐다.

DLSS 2.0의 성공은 게임 개발의 유행을 바꿨다. 개발자들은 더 이상 해상도와 성능 사이에서 타협할 필요가 없어졌다. 실시간 광선추적(레이 트레이싱) 같은 고부하 기술을 과감하게 적용하고, DLSS로 프레임 속도를 확보하는 방식이 표준이 됐다.

2022년 소개된 3세대 DLSS(DLSS 3.0)는 프레임 생성(Frame Generation) 개념으로 또 다른 혁신을 가져왔다. AI 슈퍼 해상도가 공간의 업스케일링이라면, 프레임 생성은 시간의 업스케일링이기 때문이다. AI가 연속되는 프레임 사이에 새로운 프레임을 끼워 넣어 화면을 부드럽게 표현했다. 60 프레임으로 렌더링하면 120 프레임으로 출력되는 식이다. 더 적은 프레임을 실제로 계산하면서도 더 부드러운 게임플레이가 가능해 주목받았다.

엔비디아는 지포스 RTX 40 시리즈 그래픽 처리장치에 적용된 광학 흐름 가속기로 프레임 처리 성능을 개선했다 / 출처=엔비디아

DLSS 3.0은 지포스 RTX 40 시리즈 그래픽카드 전용 기술로 소개됐다. 지포스 RTX 40 시리즈 그래픽카드부터 적용된 광학 흐름 가속기(Optical Flow Accelerator)라는 장치를 썼기 때문이다. 이 장치는 프레임 간 픽셀 이동을 추적하는 데 특화됐고, 적은 CPU 부담으로 프레임 생성을 가능하게 했다.

비판도 있었다. 생성된 프레임에는 입력 반응이 반영되지 않아 전체 입력 지연시간이 증가한다는 지적이었다. 엔비디아는 리플렉스(Reflex) 기술로 입력 지연을 보완했다. 렌더링 처리 구조(파이프라인)을 최적화해 전체 지연시간을 줄이면서 프레임 생성으로 인한 증가분을 상쇄하는 구조다.

엔비디아는 4세대 DLSS(DLSS 4.0)으로 또 한 번 AI 그래픽 가속 기술의 혁신을 이뤘다. 6년간 사용해온 합성곱 신경망(CNN, Convolutional Neural Networks) 방식에서 트랜스포머 모델로 전환했다. 트랜스포머는 대형언어모델(LLM) 개발에 쓰인 기술이다. 이 기술이 이미지 분석에 적용되면서 그래픽 처리 능력이 크게 향상됐다. 화면 한쪽의 변화가 다른 쪽에 어떤 영향을 미치는지, 시간에 걸쳐 어떤 패턴이 반복되는지 더 잘 이해한 결과물이다.

DLSS 4는 멀티 프레임 생성 능력도 향상됐다. 이전 세대 DLSS는 한 번에 하나의 프레임을 생성했다면(2배), DLSS 4는 세 개(4배)를 더 생성한다. 전통적으로 렌더링된 프레임 하나에 세 개의 AI 생성 프레임이 추가 삽입된다. 이로써 60 프레임 출력 환경이 240 프레임 출력으로 움직임이 부드러워진다. 엔비디아는 여기서 멈추지 않고 2026년 1월, DLSS 4.5를 공개했다. 2세대 트랜스포머 모델을 토대로 화질과 화면 분석 능력이 개선된 것이 특징이다.

DLSS 4.5는 어떻게 작동하는가

DLSS는 전통적인 렌더링 파이프라인과 처리 방식에 차이가 있다. 게임 엔진은 매 프레임마다 장면을 구성하는 모든 화소(픽셀)을 계산해야 한다. 4K 해상도라면 약 830만 화소다. 추가로 각 화소의 색상을 결정하는 조명, 그림자, 반사, 텍스처 등 수많은 요소를 추가 계산한다. 레이 트레이싱이나 혼합 광선추적(패스 트레이싱)처럼 실시간 조명 환경을 정확히 구현하려면 연산량은 기하급수적으로 증가한다.

DLSS는 전체 해상도가 아닌 낮은 해상도로 먼저 렌더링하고, AI가 나머지를 채운다. 4K 출력을 위해 실제로는 1080p만 렌더링하는 식이다. 이때 실제 시스템이 처리하는 화소 수는 1/4로 줄어들면서 부하가 크게 감소한다. 이후 AI 모델이 저해상도 이미지를 4K로 업스케일링한다.

DLSS 4.5는 2세대 트랜스포머 모델을 써 그래픽 처리 성능을 개선했다 / 출처=엔비디아

업스케일링 과정에서 AI는 기존 프레임들의 정보를 활용한다. 게임 엔진에서 제공하는 모션 벡터(움직임 기록) 데이터를 사용해 물체가 어떻게 움직이는지 이해하고, 프레임 정보를 지능적으로 결합하기 위해서다. 그 결과, 자연스러운 움직임과 함께 화면 깜박임(플리커링)을 줄였다.

2세대 트랜스포머 모델은 이 과정을 한층 정교하게 다듬었다. 이미지의 한 영역이 다른 영역과 어떤 관련이 있는지, 시간에 걸쳐 패턴이 어떻게 전개되는지 빠르게 이해하는 방식이다. 엔비디아는 정확도를 높이고자 AI 연산 능력을 5배 확대했고, 다양한 고화질 데이터셋으로 학습을 진행했다. AI가 정확한 화면 판단이 가능하도록 설계한 것이다.

AI가 게임 내 데이터를 처리하는 방법도 달라졌다. 기존에는 로그 공간(데이터 처리 공간)으로 그래픽 데이터를 변환해 처리한 후 다시 게임 화면으로 되돌렸다. 이 과정에서 밝은 조명의 디테일이 손실됐다. 하지만 DLSS 4.5는 게임 엔진 내에서 직접 학습하고 추론한다. 데이터 압축 없이 관리 가능할 정도로 모델 성능이 향상됐다.

DLSS 4.5 이전과 무엇이 달라졌나

DLSS 4.5의 변화는 2세대 트랜스포머 모델 적용이다. 1세대 트랜스포머 모델 대비 5배 많은 연산 성능을 활용, 방대한 고품질 데이터들로 학습했다. 2세대 트랜스포머 모델은 장면에 대한 깊은 이해를 바탕으로 게임 내 화소 샘플링과 움직임 데이터를 더 지능적으로 활용한다. 자세한 조명효과, 정교한 모서리 표현, 움직임 선명도 개선 등이 결과물이다.

DLSS 4.5로 게임 내 그래픽 묘사가 더 선명해졌다 / 출처=엔비디아

2세대 트랜스포머 모델은 조명 효과 개선이 특징이다. 기존 TAA(Temporal Anti-Aliasing)와 초기 슈퍼 해상도(DLSS) 모델들은 플리커링을 줄이기 위해 로그 공간에서 작동했다. 하지만 이 방식은 고대비 장면에서 조명 효과가 제대로 반영되지 않거나 디테일 손실, 그림자가 뭉개지는 등 문제를 야기했다. DLSS 4.5는 게임 내부의 선형 공간을 직접 학습하고 추론한다. 개선된 AI 모델이 데이터 압축 없이도 불안정성을 관리하게 되면서, 물리적으로 정확한 조명 축적이 가능해졌다. 네온사인의 빛나는 색상과 밝은 반사가 완전한 색상 범위와 디테일을 유지하는 식이다.

프레임 생성 기술도 진전이 있었다. DLSS 4는 최대 4배 멀티 프레임 생성을 제공했다면, DLSS 4.5는 최대 6배까지 지원한다. 전통적으로 렌더링된 프레임 하나당 최대 5개의 추가 프레임을 생성한다는 뜻이다. 엔비디아 자료에 따르면 지포스 RTX 50 시리즈 그래픽카드를 활용해 프레임 생성을 4배에서 6배로 전환할 경우 4K 환경의 패스 트레이싱 게임에서 프레임 수가 최대 35% 증가한다.

인공지능으로 게임 성능은 유지하되 그래픽카드 부하를 조절하는 동적 멀티 프레임 생성 기술도 DLSS 4.5에 적용됐다 / 출처=엔비디아

동적 멀티 프레임 생성(Dynamic Multi Frame Generation) 기술은 DLSS 4.5의 강점으로 꼽힌다. 고정 프레임 배율로 작동하는 대신, 그래픽카드 성능과 디스플레이 주사율 출력 간격을 지속적으로 모니터링하며 실시간으로 프레임 수를 조정한다. 시스템 부하가 높은 상황에서는 프레임 생성을 늘려 성능 저하를 보완하고, 부하가 줄어들면 프레임 비율을 낮춰 필요한 만큼만 연산한다. 프레임 수와 이미지 품질, 반응성 사이의 최적 균형을 찾는 구조다.

호환성 측면에서도 주목할 만하다. 동적 멀티 프레임 생성, 6배 멀티 프레임 생성, 2세대 트랜스포머 슈퍼 해상도 모델은 모두 기존 DLSS 기술과 호환되도록 설계됐다. 개발자들이 게임을 DLSS 4.5로 업그레이드하는 데 단 몇 번의 클릭만 하면 된다는 뜻이다. 엔비디아는 400개 이상의 타이틀이 DLSS 4.5 슈퍼 해상도를 지원하며, 250개 이상의 게임과 앱이 멀티 프레임 생성을 지원한다고 발표했다.

DLSS 4.5는 지포스 RTX 40, 50 시리즈 그래픽 처리장치(GPU)에 적용된 텐서(Tensor) 코어의 이점을 누린다. FP8 정밀도 기능을 활용해 하드웨어가 추론 처리량을 두 배로 확장하면서, 2세대 트랜스포머가 실행된다. 반면, 네이티브 FP8 지원이 없는 지포스 RTX 20, 30 시리즈 그래픽카드는 DLSS 4.5의 모든 기술을 사용하지 못한다. 해당 그래픽카드 사용자는 성능과 이미지 품질의 최적 균형을 위해 기존 DLSS 4.0 기술을 쓰는 게 유리하다.

AI 렌더링 기술의 미래는?

젠슨 황(Jensen Huang) 엔비디아 최고경영자는 GTC 2025에서 뉴럴 렌더링(Neural Rendering) 개념을 강조했다. 전통적인 래스터화나 레이ㆍ패스 트레이싱에 AI를 보조로 사용하는 수준이 아니라, AI가 렌더링 파이프라인의 핵심으로 부상할 것이라고 언급했다. 일부 프레임만 GPU가 렌더링하고 나머지는 AI가 생성하는 DLSS 방식에서 장기적으로 화소 대부분이 AI에 의해 생성되는 방향으로 나아갈 것임을 암시하는 부분이다.

젠슨 황 엔비디아 최고경영자는 GTC 2025에서 뉴럴 렌더링 개념을 언급했다 / 출처=엔비디아

AI 렌더링 기술은 빠르게 발전 중이다. DLSS 4.5의 울트라 퍼포먼스 모드에서는 실제 화면 해상도의 1/9만 렌더링한다. 4K 출력을 위해 GPU는 720p로 렌더링하고 나머지 픽셀은 AI가 만들기 때문이다. 6배 멀티 프레임 생성 기술을 쓰면 최종 출력의 98% 이상이 AI가 처리할 정도다.

트랜스포머 기술의 진화는 계속될 것이다. 자연어 처리 분야의 발전을 생각해보면, 모델 크기와 학습 데이터가 늘어날수록 성능이 계단식으로 향상됐다. 이미지 렌더링에서도 같은 패턴이 나타날 가능성이 크다. 3세대, 4세대 트랜스포머 모델은 더 많은 컨텍스트를 이해하고 복잡한 장면을 다루며, 적은 시스템 자원으로 고해상도 그래픽을 출력할 것이다.

화질 일관성도 개선의 여지가 많다. 현재 DLSS는 몇 프레임의 처리 이력을 활용하지만, 이론적으로 수십 또는 수백 프레임에 걸친 패턴 학습이 가능하다. 장면의 구조 흐름을 이해하면 더 안정적이고 일관된 이미지 생성이 가능하다. 플리커링이나 고스팅(화면 번짐) 같은 문제들이 사라질 전망이다.

프레임 생성의 배율도 혁신이 예상된다. 개선된 AI 모델과 알고리즘이 개발되면 10배, 20배도 가능하다. 극단적으로 접근하면 초당 1~2개의 키프레임(주 화면)만 전통적으로 렌더링하고, AI가 그 사이를 모두 채우는 방식도 불가능은 아니다.

AI 그래픽 연산 기술은 모바일과 클라우드 게이밍에 긍정적인 영향을 준다. 스마트폰이나 클라우드 서버에서 저해상도 렌더링을 수행하고, AI가 고해상도로 업스케일링하면 대역폭과 연산 자원을 절약할 수 있다. 고속 무선 네트워크와 결합하면 고사양 PC, 콘솔 게임기가 없이도 최고 품질의 게임을 즐기는 환경이 조성된다.

물론 해결해야 될 과제도 존재한다. AI 모델 학습에는 막대한 연산 자원이 필요하다. 현재 DLSS를 구현하려면 게임 데이터를 엔비디아 AI 데이터 센터로 보내 학습을 진행해야 된다. DLSS 지원 게임 수가 많아질수록 더 많은 데이터 센터가 필요하고 자연스레 전력, 반도체 시장 부담으로 이어진다. AI 모델의 편향(bias) 문제도 해결 과제다. 특정 장면이나 콘텐츠에서만 잘 작동하고 다른 곳에서는 불필요한 효과를 만들 가능성이 남았다. 더 다양하고 대표성을 갖춘 학습 데이터가 필요하다. 그럼에도 엔비디아 DLSS 4.5는 AI 기반 3D 그래픽 처리 기술의 변화를 알리는 이정표가 될 전망이다.

IT동아 강형석 기자 (redbk@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	내 돈 관리 맡기고 싶은 재태크 고수 같은 스타는?	운영자	26/01/12	-	-
	엔비디아 DLSS 4.5 “2세대 트랜스포머 모델로 게임 그래픽 가속”	IT동아	00:54	98	0
6486	“물 들어올 때 노 젓자” 금융당국, 외환ㆍ자본시장 혁신 나선다	IT동아	01.16	18	0
6485	AI 열풍에 ‘금값’ 된 PC 부품, 기다림만이 답은 아니다	IT동아	01.16	52	0
6484	서울지하철, 신형 교통카드 키오스크 설치…17년 만에 무엇이 바뀌었나 [7]	IT동아	01.16	1658	4
6483	[IT하는법] 스마트폰 모바일 데이터 사용량을 제한하려면?	IT동아	01.16	39	0
6482	생성형을 넘어 에이전트로…공공 행정 분야 AI 2.0 전환 박차	IT동아	01.16	22	0
6481	연이은 보안 사고, 사이버보험 도움될까…통신사 보안 서비스는?	IT동아	01.16	849	0
6480	[스타트업리뷰] 기업 채용 업무 효율성 높이는 세컨드팀 ‘AI면접관’	IT동아	01.16	17	0
6479	[써니모모의 '육십 먹고 생성AI'] 3. 디카/스마트폰 사진으로 애니메이션 만들기	IT동아	01.15	27	0
6478	[시승기] 전기차 시장에 등장한 또 하나의 선택지…'기아 EV4'	IT동아	01.15	25	0
6477	[경북대 X IT동아] 네오덱스 "개구기에서 의료 AI까지, 치의학계의 '퍼스트 무버' 될 것"	IT동아	01.15	126	0
6476	칩셋, 카메라, 가격...내달 발표 갤럭시 S26의 '3대 변수' [21]	IT동아	01.15	1366	54
6475	전통금융권과 손잡는 디지털자산 거래소, 2026년 지각 변동 예고	IT동아	01.15	29	0
6474	운전면허 벌점으로 정지·취소까지···KB국민은행·티맵서 확인하는 법	IT동아	01.15	31	0
6473	1월 22일 시행 예정되는 ‘AI 기본법’, 기업들은 준비됐나 [3]	IT동아	01.15	586	2
6472	“미국 우선주의” 트럼프 미디어가 발행한 ETF는 특별한가?	IT동아	01.14	44	0
6471	[주간스타트업동향] 딥인사이트, CES 2026서 '디멘뷰' 전시 성료 外	IT동아	01.14	105	0
6470	'오픈인프라서밋'으로 확인한 카카오클라우드의 고가용성·이중화 전략	IT동아	01.14	35	0
6469	소서릭스 AI 홈 오토메이션 SOL, CES 혁신상 수상 [SBA CES]	IT동아	01.14	31	0
6468	"개선된 챗봇으로 맞춤 상담" 따릉이 앱, 어떻게 달라졌나 [2]	IT동아	01.14	556	1
6467	[경북대 X IT동아] 노코드 AI 한계 넘어 앱·웹 생성부터 운영까지 자동화…‘엠바스’	IT동아	01.14	86	0
6466	“가상이 아닌 현실” 피지컬 AI 시대 알린 CES 2026	IT동아	01.13	43	0
6465	[위클리AI] 구글, 애플·월마트 손잡았다···글로벌 영향력 확대	IT동아	01.13	38	0
6464	[자동차와 法] 새해 교통안전 관련 제도 무엇이 달라지나	IT동아	01.13	36	0
6463	‘해킹 맛집’ 오명 쓴 대한민국, 2026년 AI 보안 과제는	IT동아	01.13	211	0
6462	한국에서 태어나 세계로 향한다…르노코리아 크로스오버 ‘필랑트’ 데뷔	IT동아	01.13	599	0
6461	정부 '2026 경제성장전략' 발표···디지털자산 제도권 진입 본격화	IT동아	01.13	35	0
6460	[생활 속 IT] 병원마다 다른 비급여 진료비, 한눈에 비교하기	IT동아	01.13	1349	4
6459	[K-스페이스 퀀텀 점프] 1. 우주항공청의 리모델링이 필요하다	IT동아	01.13	35	0
6458	[투자를IT다] 2026년 1월 2주차 IT기업 주요 소식과 시장 전망	IT동아	01.12	44	0
6457	[신차공개] 현대차 '더 뉴 스타리아 EV'·기아 '더 기아 EV2' 최초 공개	IT동아	01.12	61	0
6456	[뉴스줌인] 롤러형 물걸레 단 로보락의 신형 로봇청소기, 뭐가 다르지?	IT동아	01.12	57	0
6455	[주간투자동향] 라이드플럭스, 200억 원 규모 프리 IPO 투자 유치 外	IT동아	01.12	577	1
6454	[리뷰] “휴대용 지포스 RTX 5070 Ti” 에이수스 ROG XG 모바일 GC34R-034	IT동아	01.09	65	0
6453	2026년 새로운 청년 혜택, 무엇이 있을까?	IT동아	01.09	55	0
6452	새해 달라지는 교통 관련 제도 살펴보니	IT동아	01.09	923	2
6451	[CES 2026] CES 2026에서 주목받은 오디오 기기는?	IT동아	01.09	36	0
6450	그린리본, CES 2026서 환자 중심 임상 리크루팅 플랫폼 ‘그린스카우트’ 성과 공개 [SBA CES]	IT동아	01.09	39	0
6449	가상자산 거래소 과태료 처분, 법령준수 역량 강화 필요	IT동아	01.09	108	0
6448	PC 부품값 폭등 시대, 클라우드 PC가 해법 될까? [12]	IT동아	01.09	819	1
6447	[CES 2026] 로닉, 피지컬 AI 기반 AI 디스펜서 기술로 글로벌 F&B기업에 ‘눈도장’	IT동아	01.09	91	0
6446	SBA "CES 글로벌 이노베이션 포럼, 세계 창업계 이목 집중" [SBA CES]	IT동아	01.09	41	0
6445	[CES 2026] 전장 기업, 부품 공급자에서 미래차 생태계 핵심 플레이어로 부상	IT동아	01.08	57	0
6444	[스타트업-ing] 그랜터 "AI 재무 데이터로 스타트업 금융 문턱 낮춘다"	IT동아	01.08	42	0
6443	[CES 2026] AI로 혁신성 더한 국내 CES 2026 참가 스타트업은?	IT동아	01.08	325	1
6442	CARF 시행, 해외 가상자산 거래 정보 자동 공유	IT동아	01.08	69	0
6441	KTX–SRT 10년 만에 통합, 무엇이 달라지나	IT동아	01.08	72	0
6440	[CES 2026] 피지컬 AI에 방점 찍은 완성차 업체…어떤 기술 선보였나	IT동아	01.07	41	0
6439	“금융 사각지대 해소에 초점” 2026년 달라지는 금융정책 [3]	IT동아	01.07	446	1
6438	[CES 2026] AMD, CES 2026서 MI455X·MI500 공개··· '요타플롭스 시대 위한 인프라 기업 될 것'	IT동아	01.07	46	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

DLSS 4.5는 어떻게 작동하는가

DLSS 4.5 이전과 무엇이 달라졌나

AI 렌더링 기술의 미래는?

▶ AI 열풍에 ‘금값’ 된 PC 부품, 기다림만이 답은 아니다▶ [스타트업리뷰] 기업 채용 업무 효율성 높이는 세컨드팀 ‘AI면접관’▶ [경북대 X IT동아] 네오덱스 "개구기에서 의료 AI까지, 치의학계의 '퍼스트 무버' 될 것"

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

▶ AI 열풍에 ‘금값’ 된 PC 부품, 기다림만이 답은 아니다 ▶ [스타트업리뷰] 기업 채용 업무 효율성 높이는 세컨드팀 ‘AI면접관’▶ [경북대 X IT동아] 네오덱스 "개구기에서 의료 AI까지, 치의학계의 '퍼스트 무버' 될 것"