레이 트레이싱의 한계 극복한 엔비디아 DLSS 3.5, 어떤 기술인가?

 

게임 그래픽이 실사 같은 품질과 현실성을 구현하려면 레이 트레이싱 기법이 더 발전해야 한다.

지금처럼 반사나 그림자, 전역 조명에만 선택적으로 활용할 것이 아니라 모든 픽셀을 시물레이션 할 수 있는 풀 레이 트레이싱이 현실화 되야 한다.

그리고 그 첫 단계는 이미 시작 됐다. 패스 트레이싱을 게임 레벨에서 구현한 엔비디아가 사이버펑크 2077로 가능성을 충분히 입증한 것이다.

패스 트레이싱으로 증가된 컴퓨팅 파워는 프레임 생성 기술로 보완하고 보다 현실적인 빛과 조명, 그림자를 기반으로 한 게임 플레이를 실현해 냈는데 오늘 또 다른 소식이 전해졌다.

레이 트레이싱의 품질을 개선한 DLSS 3.5가 발표됐다.

■ 레이 트레이싱의 현실적인 한계

DLSS 3.5를 알아보기에 앞서 레이 트레이싱 기술의 한계를 먼저 설명하는 것이 좋겠다.

지금의 레이 트레이싱 기술은 빛이 나오는 방향이 아닌 반대 방향에서 빛을 추적하는 방식이다. 

광원에서 빛이 나가는 방향으로 계산하면 실제 눈에 보이지 않는 부분까지 모두 계산해야 하지만 반대 방향, 즉 카메라가 보는 방향으로 빛을 추적하면 실제 보이지 않는 부분은 계산을 하지 않아도 된다.

이렇게 하면 레이 트레이싱에 필요한 컴퓨팅 파워가 크게 감소하기 때문에 빛을 역추적 하는 방식으로 레이 트레이싱 기법이 만들어지게 됐고 광선 수를 조절해 실시간 랜더링도 가능하게 했다.

▲ 디노이저 처리 전(좌) / 후(우)

오늘 소개할 DLSS 3.5는 이 광선 수와 관련 있다.

광선의 개수가 많으면 사실 상 눈에 보이는 모든 화면, 그러니까 개별 픽셀 모두에 필요한 실제 정보를 찾아낼 수 있다. 그러나 이 방법은 필요한 컴퓨팅 파워를 크게 증가시키기 때문에 사실 상 불가능에 가깝다.

특히, 게임 처럼 실시간 랜더링이 필요한 환경에선 답이 없는 방식이다. 그래서 광선 수를 줄이는 대신 계산된 픽셀의 인접 부분을 채워 넣는 방식이 사용되고 있다. 

그게 바로 디노이저이며 이를 위해 이전 프레임 정보를 참조하는 방식과 영역별 픽셀 정보를 종합해 뭉개 버리는 방식이 함께 활용되고 있는데 DLSS 3.5는 이 디노이저를 대신한다.

■ 인공지능을 이용한 엔비디아의 해법, DLSS 3.5

디노이저의 한계는 간단하다. 원래부터 부족한 픽셀 정보를 기반으로 빈 자리를 채워 넣다 보니 잘못된 정보가 섞일 수 밖에 없는 것이다.

이전 프레임을 참조하거나 인접 픽셀을 비교해도 100% 정확한 데이터를 찾는 건 불가능하다. 그래서 고스트나 디테일 손상 등 원래 의도한 결과와 다른 품질로 표현 되는 경우들이 생기는데 이 문제를 개선하고자 만들어 낸 것이 DLSS 3.5다.

DLSS 3.5는 기존 DLSS 기법에 광선 재구성(Ray Reconstruction) 기술을 더한 것이다. 이 기술은 딥러닝으로 트레이닝된 AI기반 신경망 랜더러의 일부로, 기존 디노이저를 대신하게 된다.

디노이저를 대신해 인접 픽셀을 찾아내고 보다 정확한 데이터를 찾아내기 위해 정해진 샘플 패턴이 아니라 각 장면과 객체, 조명 패턴을 인식하고 그에 맞는 샘플과 정보를 찾아내어 기존 디노이저 같은 오류를 발생시키지 않는다.

100%라고 말하긴 어렵겠지만 미세한 선이나 글자의 뭉개짐 현상 등은 크게 개선이 가능하며 조명 효과에서도 더 사실적인 컬러를 표현할 수 있게 된다.

엔비디아에 따르면 다중 광선 추적 효과를 사용하는 게임에선 광선 재구성 기술이 다수의 디노이저를 대신하게 되어 이미지 품질 향상과 함께 성능 향상에도 도움이 된다는데 그 예로, 사이버펑크2077을 보여주기도 했다.

■ 왜 DLSS 3.5 일까?

광선 재구성 기술은 프레임 생성이나 업스케일 같은 기존 DLSS와 좀 다른 기술로 보일 수 있다. 레이 트레이싱 기술에 필요한 디노이저를 대신하는 기술이니 DLSS가 아니라 레이 트레이싱 기술의 또 다른 버전으로 구분하는게 맞지 않냐고 생각할 수도 있다.

필자도 처음에는 그런 생각을 했다. 굳이 DLSS에 포함시킬 것이 아니라 표준 레이 트레이싱 기술로 만들면 돼지 않겠냐고 말이다. 그렇게 되면 레이 트레이싱을 적용한 모든 게임에서 이 기술을 활용하게 되고 게이머 입장에선 이게 더 득이 된다. 

하지만, 이건 사실 상 불가능하다.

광선 재구성 기술은 정해진 알고리즘으로 만들어낸 것이 아니다. DLSS의 핵심인 업스케일링 기술처럼 수 많은 데이터로 트레이닝 된 신경망 렌더러다. 그것도 업스케일러 보다 5배 많은 데이터로 트레이닝 된 AI 기반 신경망 렌더러라서 엔비디아만 이 기술을 제공할 수 있다.

엔비디아의 지포스 시리즈로만 실행할 수 있는 기술이기 때문에 DXR 처럼 표준 기술이 되는 건 불가능하다. 누군가 엔비디아를 대신해 트레이닝 모델을 만들고 이를 모든 GPU 메이커가 활용할 수 있게 하면 가능할 수도 있지만 현재까지 이런 움직임은 없다.

■ 후발 주자도 가능한가?

광선 재구성 기술의 핵심은 AI 모델을 사용한다는 것이다. 게임 마다 트레이닝 된 모델이 필요하고 그 만큼 투자도 해야 한다. 

인텔과 AMD도 할 수는 있다. 하지만, 그 동안의 행보를 생각하면 할 가능성은 높지 않다.범용성을 강조해 왔던 AMD도 AI 모델이 아니면 답이 없는 이 기술을 알고리즘 기반으로 만들어내기란 쉽지 않다.

프레임 생성 기술을 구현하겠다던 FSR3는 이미 검증된 알고리즘도 있고 지연 시간 문제만 해결하면 대응 기술을 만들어내는 것이 어렵지 않지만 광선 재구성 만큼은 쉽지 않을 듯 한데 아마 곧 AMD의 반응이 나오지 않을까 한다.

언제나 엔비디아가 만들면 우리도 할 수 있다고 했던 AMD니까 말이다.