Runway Solaris, 코드 없이 화면을 직접 그리는 AI가 스스로 밝힌 한계 4가지

Runway Solaris, 코드 없이 화면을 직접 그리는 AI가 스스로 밝힌 한계 4가지

Runway가 2026년 8월 31일 공개한 인터페이스 월드 모델 Solaris는 코드 대신 화면을 프레임 단위로 직접 그립니다. 프런티어 LLM을 이겼다는 보도는 Solaris가 빠진 벤치마크 얘기였어요.

Runway Solaris 소식을 접하고 나면 다들 비슷한 질문을 던져요. "이거 진짜 GPT나 클로드보다 나은 거예요?" 여기저기서 프런티어 LLM을 이겼다는 제목이 붙었으니 그렇게 생각하는 게 당연합니다. 이 글에서는 그 벤치마크가 정확히 무엇을 쟀는지, Solaris가 기존 AI와 어떻게 다른지, 그리고 지금 확인된 것과 아직 아무도 모르는 것을 순서대로 정리합니다.

화면을 읽는 AI와 화면을 그리는 AI, 방향이 정반대다

컴퓨터 사용 에이전트는 이미 있는 화면을 보고 조작해요. 브라우저를 열고 버튼을 찾아 클릭을 대신해 주는 식이죠. 사람이 앉던 자리에 AI가 들어가는 구조입니다.

Solaris는 반대 방향으로 움직입니다. 사용자가 클릭하고 드래그하면 그 입력을 받아 화면 자체를 다음 프레임으로 새로 그려요. 미리 만들어 둔 화면도, 정해진 템플릿도 없습니다. 버튼을 눌렀을 때 이벤트 핸들러가 도는 게 아니라, 모델이 눌린 결과를 그림으로 다시 만들어 보여주는 방식이에요.

인터페이스 월드 모델(Interface World Model): 소프트웨어 화면을 코드로 만들지 않고, 사용자의 클릭과 드래그에 반응해 프레임을 실시간으로 직접 생성하는 AI 모델입니다. Runway가 2026년 8월 31일 처음 공개했습니다.

Runway 공식 문서의 표현을 그대로 옮기면 이렇습니다.

"하나의 월드 모델이 모든 프레임과 사용자 입력에 대한 모든 반응을 생성하므로 중간 표현이 필요 없습니다. 변환 단계가 없으니 손실도 없고, 프레임 전체가 곧 인터페이스가 됩니다."

이 발표에서 Runway가 특정 경쟁사 이름을 직접 거론하지는 않았습니다. 다만 "컴퓨터 사용 작업을 수행하는 LLM"이라는 범주로 기존 접근을 설명하면서, 정반대 방향의 제안을 내놓은 거예요. 화면을 읽는 AI 다음으로 화면을 대신 그려 주는 AI가 나온 셈입니다.

버튼을 눌러도 코드가 없다, Solaris가 프레임을 만드는 방식

Solaris 내부는 크게 두 가지 일로 나뉩니다.

버튼을 눌러도 코드가 없다, Solaris가 프레임을 만드는 방식

이미지 출처: runway.com

언어 모델이 먼저 움직여요. 사용자의 요청을 해석하고, 지금 화면을 살짝 바꿀지 완전히 다른 장면으로 넘어갈지 판단하고, 그 장면이 어떻게 반응해야 하는지 규칙을 정합니다. 그다음 월드 모델이 그 판단을 실제 그림으로 렌더링해요. 한쪽은 무엇을 할지 정하고, 다른 쪽은 그게 어떻게 보일지 만드는 구조입니다.

실시간으로 작동하게 만든 방법도 따로 있어요. 프레임을 하나씩, 직전 프레임에만 의존해서 만들고(자기회귀), 원래 수십 단계였던 디노이징 과정을 몇 단계로 압축하고(증류), 그렇게 빨라진 모델을 자기 출력으로 다시 학습시켜 화질이 무너지지 않도록 안정화했습니다. 표준 영상 확산 모델은 클립 전체를 한 번에 다듬기 때문에 인터랙션에 쓰기엔 너무 느리다는 게 Runway의 설명이에요.

설계 목표는 세 가지였습니다. 실시간 상호작용, 세션 전체에 걸친 일관성, 720p에서 유지되는 시각 품질이요. 확인된 해상도 수치는 이 720p 하나뿐입니다. 지연 시간이나 프레임레이트, 최대 세션 길이는 공식 문서 어디에도 숫자로 나오지 않아요. 연산 비용도 "표준 영상 확산 모델보다 수십에서 수백 배 저렴하다"는 상대적 표현만 있고 절대 수치는 없습니다.

"프런티어 LLM을 능가했다"는 보도, 그 벤치마크엔 Solaris가 없었다

Solaris 발표 이후 몇몇 매체는 프런티어 LLM을 능가했다는 제목을 달았어요. 원문을 보면 얘기가 조금 다릅니다.

평가 1: 세 언어 모델끼리 겨룬 재현 손실 측정

Runway가 실제로 진행한 평가는 스크린샷 한 장을 주고 GPT-4o, Gemini 2.5 Pro, Claude Fable 5가 그 인터페이스를 얼마나 충실하게 재현하는지 측정한 것입니다. SSIM(구조적 유사도)과 DINOv3 특징으로 원본이 얼마나 손실 없이 재현됐는지를 봤어요. 이 채점표에 Solaris는 없습니다. 세 언어 모델끼리 겨룬 결과일 뿐이에요.

결과는 "모든 언어 모델이 재현 과정에서 정보를 잃고, 화면이 복잡할수록 품질이 나빠진다"였습니다. Runway는 여기서 언어를 거치지 않는 Solaris는 이 손실 자체가 없다는 논증으로 넘어가요. 점수 대결이 아니라 논증인 셈이죠. Runway 공식 X 게시물조차 "Solaris outperforms frontier LLMs"라는 압축된 문장을 썼으니 혼동이 생길 만도 합니다.

평가 2: Solaris 대 Claude Opus 5, 사람이 매긴 진짜 성적표

진짜 대결은 따로 있습니다. 같은 화면에서 출발해 같은 상호작용 요청을 주고, Solaris의 결과와 Claude Opus 5가 코딩한 결과를 사람이 비교했어요. 참가자 250명, 상호작용 예시 30개, 판정은 약 7,500건이었습니다.

이 수치도 Runway 자체 조사이고 독립 검증은 없어요. 비교 상대인 코딩 결과물의 프롬프트 품질이나 시도 횟수 같은 조건도 공개되지 않았습니다. 이 조사는 지시를 따르는지와 자연스러운지만 물었을 뿐, 정확성이나 신뢰성은 묻지 않았어요.

새 아키텍처가 아니라 Gen-4.5와 GWM-1의 다음 단계다

Solaris는 어느 날 갑자기 나온 신규 아키텍처가 아니에요. Runway 자사 라인업 안에서 계보를 그려보면 이렇습니다.

새 아키텍처가 아니라 Gen-4.5와 GWM-1의 다음 단계다

이미지 출처: runway.com

공식 문서 표현을 그대로 옮기면 "Solaris는 우리의 Gen-4.5 영상 생성 모델을 기반으로 하며, GWM-1이 연 길을 따른다"입니다. 대체가 아니라 같은 기반 기술의 새로운 갈래라는 뜻이에요. Gen-4.5도 GWM-1도 별도 제품으로 계속 존재합니다.

영상 생성 모델과 월드 모델을 가르는 기준은 상태 유지와 반응성이에요. 영상 생성 모델은 프롬프트를 받아 완성된 클립을 내놓으면 끝입니다. 생성이 끝나면 사용자가 개입할 여지가 없어요. 월드 모델은 프레임을 하나씩 만들면서 그 사이사이 들어온 입력을 다음 프레임의 조건으로 흡수합니다. 지금까지 무슨 일이 있었는지가 프레임 열 자체에 쌓이는 구조예요.

GWM-1과 다른 지점은 무엇을 시뮬레이션하느냐입니다. GWM-1이 탐험 가능한 공간이나 로봇 조작 같은 물리적 환경을 시뮬레이션했다면, Solaris는 같은 영상 생성 기계장치를 소프트웨어 화면에 돌려 쓴 거예요.

에이전트의 경쟁자가 아니라 훈련장이라는 주장, 아직은 주장뿐이다

Runway는 Solaris를 컴퓨터 사용 에이전트의 경쟁자가 아니라 "에이전트를 훈련시키는 새로운 방법"으로 제시해요. 논리는 이렇습니다.

지금 최고 수준의 LLM도 호텔 예약이나 장보기 같은 기본적인 컴퓨터 사용 작업을 잘 못 합니다. 텍스트 기반 모델이 코딩된 인터페이스로 훈련받다 보니, 학습받은 특정 레이아웃을 외워 버리고 조금만 다른 인터페이스에는 적응을 못 한다는 거예요. 호텔 웹사이트 두 개만 달라져도 흔들린다는 얘기죠. Solaris로 끊임없이 바뀌는 인터페이스를 만들어 주면 그 과적합을 깨는 훈련 환경이 된다는 계획입니다. 강화학습에서 시뮬레이터를 쓰는 발상과 닮았어요.

다만 여기서 선을 그어야 합니다. Solaris로 훈련한 에이전트가 실제 컴퓨터 사용 벤치마크에서 나아졌다는 실험 결과는 아직 없어요. 훈련 관련 수치도, 파트너 사례도, API 접근 방법도 전부 미공개입니다. 지금은 가능성으로 읽어야지 검증된 성과로 읽으면 안 돼요. 이 훈련장 구상이 얼마나 현실적인지는 다음에 정리할 한계들과 함께 봐야 합니다.

지금 확인된 것 하나와 아직 못 쓰는 이유들

2026-09-03 기준 공개 3일째인 지금, 확실하게 확인된 성능 수치는 720p 해상도 하나뿐이에요. 나머지는 표로 정리하는 게 빠릅니다.

얼리 액세스 폼의 입력 항목을 보면 방향이 드러나요. 회사명, 업무용 이메일, 회사 규모(1~50명부터 10,001명 이상까지) 이렇게 세 가지입니다. 개인 창작자보다 기업 파트너를 먼저 상대하겠다는 뜻이죠.

Runway 스스로도 네 가지 한계를 문서에 직접 적어 뒀습니다.

• 텍스트: 안정적으로 읽을 수 있는 텍스트는 영상 생성에서 원래 어려운 문제인데, 하필 인터페이스는 다른 어떤 화면보다 텍스트에 기대는 매체예요.
• 신뢰: 교육이나 상거래에서는 그럴듯한 오답이 무응답보다 나쁘다고 Runway가 직접 썼습니다.
• 장시간 세션: 길고 개방적인 상호작용에서 일관성을 유지하는 것도 여전히 연구 중이고, 자기회귀 생성의 특성상 작은 오차가 길어질수록 쌓여요.
• 접근성: 화면이 구조화된 문서가 아니라 영상 스트림이다 보니 스크린 리더도 접근성 API도 붙일 수가 없어요.

그러니까 지금 할 수 있는 건 하나뿐입니다. 기업이라면 얼리 액세스 폼을 넣어 보는 것, 그게 전부예요.

마무리

정리하면 이렇습니다. Runway Solaris는 화면을 코드로 옮기는 단계를 통째로 없애 보겠다는 제안이고, 그 결과를 사람이 평가했더니 코딩된 화면보다 낫다는 응답이 더 많이 나왔어요. 다만 그 수치도 Runway 자체 조사이고, 프런티어 LLM을 이겼다는 보도는 다른 벤치마크를 압축한 표현이었습니다. 지금 만져볼 방법은 기업 얼리 액세스 신청뿐이에요.

이 발표를 어떻게 받아들일지는 각자 다를 수 있습니다. 판단에 필요한 확인된 수치와 미공개 항목은 위에 전부 정리해 뒀으니, 그걸 기준으로 천천히 지켜보셔도 충분합니다.

자주 묻는 질문 (FAQ)

Q: Solaris가 정말 GPT나 클로드 같은 프런티어 LLM보다 나은 건가요?

아니요. 그렇게 압축 보도된 벤치마크는 GPT-4o, Gemini 2.5 Pro, Claude Fable 5가 스크린샷을 얼마나 충실히 재현하는지 잰 것이고, Solaris는 거기 참가하지도 않았습니다. Solaris가 직접 대결한 상대는 Claude Opus 5가 코딩한 결과이고, 사람 판정에서 61%와 71%로 더 선호됐어요. 이것도 Runway 자체 조사입니다.

Q: 지금 Solaris를 써볼 수 있나요? 가격은 얼마인가요?

둘 다 안 됩니다. 일반 공개, API, 가격, 가중치가 모두 미공개이고 기업용 얼리 액세스 신청 폼만 열려 있어요. 신청 항목이 회사명, 업무용 이메일, 회사 규모라 개인보다는 기업을 먼저 상대하는 것으로 보입니다.

Q: 마우스 클릭만으로 AI가 제 의도를 정확히 알아챌 수 있나요?

아직 검증되지 않았습니다. 실제 커뮤니티에서도 텍스트처럼 정보 밀도 높은 입력 대신 클릭 제스처만으로 의도를 추론하는 게 실사용에서 얼마나 버틸지 지켜봐야 한다는 지적이 나왔어요. Runway 스스로도 신뢰성과 텍스트 처리를 아직 풀지 못한 과제로 꼽았습니다.

참고 자료

• Introducing Solaris (Runway Research)
• Introducing Runway GWM-1
• Introducing Runway Gen-4.5
• Runway 공식 X 발표 게시물
• Runway's Solaris is an AI system that generates software interfaces in real time (The Decoder)
• Runway wants to generate software as you use it (The New Stack)
• Hacker News: Solaris, Our Interface World Models