먼저 세 가지 실제 사례를 살펴보자.

모형에게 중국 전통 음악 공연을 찍으라고 하면, 나오는 악기와 화면 위의 글자들은 진정한 중국 전통과 일치하지 않습니다. 나이지리아 결혼식을 찍으라고 하면, 손님들의 옷과 의식 용품은 모두 ‘일반적인 스타일’이며, 나이지리아의 정체성은 전혀 보이지 않습니다. 일본의 ช오기(Shogi) 대결을 찍으라고 하면, 판자와 말들은 바로 서양식 체스로 바뀝니다.

영상 자체는 아무 문제가 없고, 조명, 동작, 선명도도 모두 좋습니다. 그런데 바로 그것이 문제입니다. 중국 영상은 이제 실제 사람처럼 보이기 시작했고, 영상이 더 현실적으로 보일수록 문화적 오류도 더 숨겨져 있고, 더 눈에 띄게 됩니다. 해외 시장을 위해 만들어진 영상에서 의상이나 의식이 잘못되면 지역민들은 바로 그것을 알아보고, 경미한 경우에는 우스개, 심한 경우에는 모욕으로 받아들입니다.

이 논문인 ‘arXiv 2608.01942: CultureVidBench: Text-to-Video Generation의 문화 이해를 평가하는 벤치마크’는 이 문제를 위한 완전한 시험지를 제작했습니다: 12개의 국가, 1,000개의 질문, 7개의 모형이 동시에 경쟁하며, 특히 텍스트에서 비디오로 전환하는 문화 이해를 테스트합니다. 수석 저자인 Xianjing Han은 남양기술대학교에서 출신이고, 공동 저자인 Bin Zhu는 싱가포르 경영대학교에서 출신이며, 협력 기관으로는 Centrale Supélec과 케임브릿지 대학교가 있습니다. 저는 이 논문을 완전히 읽었는데, 가장 중요한 점은 이 연구가 ‘AI가 문화를 이해할 수 있는가?‘라는 질문을 처음으로 실제 테스트할 수 있도록 만들었다는 것입니다. 이제 우리는 AI가 문화를 이해하는지 여부를 실제로 테스트할 수 있습니다.

이전 평가에서는 문화를 평가할 수 없었던 이유는 무엇인가?

문생의 비디오에 대한 평가는 부족하지 않습니다. 주요 벤치마크인 VBench, EvalCrafter 등은 계속 쓰이고 있지만, 그것들은 그림 품질, 동작 부드러움, 물리학의 합리성, 주제 적합성을 평가합니다. 물리학 지식을 테스트하거나, 로보트의 신뢰성을 테스트하는 것도 있고, 각자 다른 분야를 평가합니다.

문화라는 차원에서 비디오 쪽에서는 거의 시스템적인 테스트가 이루어지지 않았습니다. 그러나 사진 쪽에서는 일부 사람들이 테스트를 실시했고, ViSAGe, CUBE-1K는 모두 문화 개념을 테스트했습니다. - 그러나 사진은 정적이고, 동작이 올바르게 되었는지 여부를 확인할 수 없고, 소리가 올바르게 되었는지 여부도 확인할 수 없습니다. 비디오 내의 문화는 생동적입니다. 예를 들면, 의식에는 절차가 있고, 장면에는 음악이 있으며, 표지판에는 글이 있습니다. 이 공간을 채우는 것이 CultureVidBench의 목적입니다.

연구를 완료하는 첫 번째 단계는 설문지를 작성하는 것입니다. 설문지가 좋은지 여부는 나머지 모든 결론의 신뢰성을 직접 결정합니다. 이 연구에서 설문지를 작성하는 데 들인 노력은 별도로 언급할 가치가 있습니다.

12개국을 다룬 시험지는 어떻게 나왔나요?

먼저 국가를 선택하세요.저자는 세계 가치 조사(World Values Survey)의 문화 지도를 차용했는데, 이는 학계에서 일반적으로 사용되는 문화 구분 도구로, 전 세계을 8개의 문화 영역, 예를 들면 유교 영역, 영어 국가 영역, 아프리카 이슬람 영역 등으로 나누었습니다. 각 영역에서 대표국가를 선정하여 12개의 국가를 포함시켰고, 6대륙에 걸쳐 있습니다. 이 목록의 의도적인 구성을 주의하세요: 미국, 중국, 인дия 같이 온라인에서 자주 다溜되는 고프로필 국가들과 에티오피아, 나이지리아, 말레이시아 같이 자원이 적은 국가들이 모두 포함되어 있습니다. 나중에 이 구성이 전체 글의 가장 중요한 결론 중 하나를 직접 테스트하는 데 사용된다는 것을 알게 될 것입니다.

재구성된 주제.저자는 문화를 세 가지 범주로 분류합니다. 물질적 문화(음식, 의복, 건축, 장식 등 시각적으로 확인할 수 있는 것들), 사회적 실천 및 공연(인사, 식사, 무용, 운동, 종교 행사 등 사람들이 하는 일들), 의식 및 예식(결혼식, 장례식 등 일련의 절차). 이 세 가지 범주는 14개의 분야로 세분되며, 828개의 문화 요소가 각국의 문화 자료에서 수집되어 1,000개의 키워드로 정제되었습니다. 물질적 요소는 270개, 사회적 실천 및 공연은 386개, 의식 및 예식은 344개로 구성되어 있으며, 각 키워드는 평균 12.8개의 영어 단어로 구성되어 있습니다.

제목의 품질은 수동으로 검증됩니다.각 키워드는 모델을 통해 생성되며, 물질적 문화는 ‘사람 + 어떤 행동을 하는 + 어떤 문화적 요소를 가지고 있는 + 어떤 국가에서’로 구성되어 있습니다. 예를 들면, ‘한 여성이 브라질의 식당에서 페이존다(feijoada)를 접시에 담고 있습니다’. 의식적 문화는 한 세트의 절차이며, 하위 활동으로 분해되어야 합니다. 예를 들면, 중국의 차 예식 결혼식은 부모에게 무릎을 꿇고, 차를 제공하고, 적은 돈을 받는 세 단계로 구성되어 있습니다. 후보 제목은 두 명의 인간 태그기자의 손을 거쳐야 하며, 표현이 자연스럽은지, 문화적으로 정확한지, 그리고 영상으로 잘 찍힐 수 있는지 확인됩니다.

전체 워크플로우는 다음과 같습니다: 828개의 문화 요소 → 1,000개의 키워드 → 7개의 모델을 각각 실행하여 7,000개의 비디오를 생성하고 → 실제 사람과 AI 두 세트의 심사자들이 점수를 매줍니다. 참가자들은 4개의 오픈 소스 모델(LTX-2.3-22B, Cosmos-Predict-2.5-14B, HunyuanVideo-1.5, Wan-2.2-14B)과 3개의 클로즈드 소스 모델(Kling-3.0, Veo-3.1-Fast, Alibaba의 HappyHorse-1.0)을 사용했습니다.

어떻게 점수를 매길까요? 두 가지 주요 질문을 8개의 작은 항목으로 나누어 보자요.

채점 시스템은 매우 명확하게 설계되어 있으며, 각 동영상은 두 가지 주요 질문에 답합니다:

• 문화적 정확성: 필요한 문화적 요소들이 제대로 표현되었는가? (문화적 요소의 정확성) 외국의 요소들이 포함되어 있지 않은가? (문화적 일관성)
• 영상 자체의 품질: 주제와 동작이 적합한가? 영상의 품질은 좋은가?

각 항목은 0에서 1점 사이의 점수를 받습니다. 그중에서도 다양한 매체를 통한 문화적 표현을 평가하는 항목이 별도로 제시되는데, 여기에는 영상 내의 글자, 배경 음향, 일본 장면의 한자 간판, 결혼식의 전통 음악 등이 포함됩니다. 글자와 음향을 별도로 평가하는 것이 이 시험지의 특이점이며, 이는 후에 큰 문제가 될 수 있습니다.

두 그룹의 심사위원이 있습니다. 실제 심사위원은 168개의 질문(14개의 주제 × 12개의 국가)을 선정하였으며, 각 질문에 3명의 국내 시청자가 5점 등급으로 평가한 후 평균을 내었습니다. 비용은 높지만 이것이 금표준입니다. AI 심사위원은 작가가 설계한 타깃-명시적 프로토콜을 사용하였습니다. 이는 간단히 말해 인간의 주관적인 평가를 방지하기 위한 것입니다. 첫 번째 단계에서는 질문의 주제를 알려주고, 두 번째 단계에서는 비디오에서 관련 증거를 찾도록 하며, 세 번째 단계에서는 증거에 기반하여 점수를 매립니다. 이 프로토콜이 타당한지 여부는 나중에 별도의 테이블에서 검증되었습니다.

성적 증명서: 오픈 소스와 클로즈드 소스 사이에는 큰 차이가 있습니다.

페이지 6의 표 1은 전체 세션에서 가장 중요한 표입니다. 먼저 문화 요소에 대한 실제 사용자 평가를 보세요:

4개의 오픈 소스 모델은 모두 0.359에서 0.485 사이의 점수를 받았고, 3개의 클로즈드 소스 모델은 바로 0.701에서 0.766 사이의 점수를 받았습니다. 최고 점수는 0.766인 Veo-3.1-Fast, 0.742인 HappyHorse-1.0, 0.701인 Kling-3.0입니다. 오픈 소스 모델 중 가장 강한 Wan-2.2-14B도 0.485를 받았고, 클로즈드 소스 모델 중 가장 약한것보다 0.2점 낮았습니다. 이는 분명히 큰 차이입니다.

그러나, 같은 표는 또 다른 중요한 정보를 숨기고 있습니다. 품질과 관련성과 같은 일반적인 능력은 모두 비슷했고, 대부분의 경우 0.49보다 높았으며, 최고 점수는 0.808였습니다. 두 가지를 함께 보면, 결론은 명백합니다.모형은 동영상을 제작하는 데 실패한 것이 아니고, 문화에 대한 이해가 부족했습니다.문화적 차이와 생성 능력의 차이는 다른 것입니다. 이것이 바로 이 시험지가 그것들을 분리하여 테스트하는 이유입니다.

전체적으로 최악의 부분: 글자 렌더링

표 1에는 문화 정렬보다 더 보기 나쁜 열이 하나 있습니다. 바로 그림 안의 글자 표현입니다.

오픈 소스 그룹의 최고 점수인 Cosmos-Predict-2.5-14B는 0.178이고, HunyuanVideo-1.5는 0.102입니다. 클로즈드 소스 그룹은 조금 나은 편인데, 최고 점수인 HappyHorse-1.0도 0.434에 불과합니다. 전체 우승자들은 최고 점수의 절반도 안 되었습니다. 현재 인터넷에서 유행하는 ‘AI가 쓰는 글자들은 이상하다’는 말이 실제 수치로 입증되었습니다. 실용적인 결론: 동영상에 지역 언어가 포함되어 있는 경우에는 반드시 인간에 의해 검증되어야 합니다. 현재는 모든 모형이 이를 대신할 수 없습니다.

AI 심사위원을 신뢰할 수 있겠는가: Table 2의 베팅 도전

AI를 심사위원으로 사용하는 것은 평가를 대규모로 실시하기 위함입니다(인간 심사관이 168개의 질문을 평가하는 것은 이미 상당한 비용이 들어가는 일입니다). 그러나 AI의 점수를 신뢰할 수 있을까요? 표 2는 국가별 평균 Kendall τ 및 Spearman ρ를 통해 이 질문에 답을 제공합니다. 1에 가까울수록 AI와 인간의 순위가 더 일치한다는 것을 의미합니다.

작은 모형은 기본적으로 실패했습니다. ViCLIP과 같은 사진과 글의 유사성을 분석하는 작은 모형은 0.137였고, Qwen3-VL-32B은 0.427였습니다. GPT-5.4에 타깃 명시적 프로토콜을 적용한 후, 문화 요소 정렬은 0.519에서 0.546로 향상되었고, 프로토콜 자체가 실제로 효과적입니다. 저자는 마지막으로 제미니-3.1-프로를 선택했는데, 0.529였고, GPT-5.4보다 조금 낮았지만, 문화의 다양한 차원에서 가장 안정적이었습니다(문화 일관성 0.521, 글자 렌더링 0.527). 저자는 이것을 사용하여 모든 7,000개의 비디오에 점수를 매겼습니다.

주요 기준은 인간 평가자들 간의 상관관계인데, 이는 0.591입니다. 즉, 최고의 AI 평가자들은 문화 평가에서 인간 평가자들 간의 일치도에 접근하고 있습니다. 문화 평가는 ‘반드시 인간이 해야 하는’ 것에서 ‘AI가 먼저 검토할 수 있는’ 것으로 바뀌었습니다. 그러나, 리얼리즘과 비주얼 품질과 같은 주관적인 평가에서는, 인간들 간의 일관성이 낮아서 AI도 잘 하지 못하므로, 이러한 점수는 대략적으로 참고하면 됩니다.

국가 간: 0.3 분할

7 페이지의 그림 5는 국가별 점수를 보여주며, 이 표(정확한 수치는 부록에 있습니다)는 아마도 전문가들에게 가장 유용한 페이지일 것입니다:

미국은 0.874로 상위 자리를 차지했고, 중국은 0.778, 이탈리아는 0.763, 인도는 0.760입니다. 그 다음에는 네덜란드가 0.721, 브라질이 0.718, 일본이 0.713, 뉴질랜드가 0.698입니다. 그 다음은 러시아가 0.669, 나이지리아가 0.636, 마레이시아가 0.629이며, 마지막으로 에티오피아는 0.556입니다.

최고 점수와 최저 점수 사이의 차이가 0.3점 이상입니다. 저자는 또한 각 차원의 국가별 분산도를 계산했습니다. 문화적 일치성 차원은 0.3점 정도이며, 일반적인 능력인 주제 적합성 같은 경우는 0.07점 정도의 차이가 있습니다. 이는 모든 모형이 ‘두 사람이 바둑을 두는 장면’을 잘 인식할 수 있지만, 에티오피아의 어깨 인사나 일본의 일본 체스와 같은 문화적 세부사항에 대해서는 즉시 점수가 차이가 나는 것을 의미합니다. 이 패턴은 다소 직설적입니다.온라인 자료가 더 많은 국가는 AI가 더 잘 테스트됩니다. 이것은 모형의 지능 여부가 아니고, 트레이닝 데이터의 편향 때문입니다.

그림 6은 또한 한 가지 더 언급합니다. 오픈 소스 모델은 에티오피아, 말레이시아, 나이지리아 같은 저소득 국가에서 더 심하게 성능이 저하되었고, 클로즈드 소스 모델도 성능이 저하되었지만, 기반이 더 강했기 때문에 여전히 선도적인 위치를 차지할 수 있었습니다.

어떤 문화를 찍는 것이 가장 어려운가: 물건은 쉽지만, 프로세스는 어렵습니다.

그림 8은 14개의 영역을 문화 유형별로 나열합니다. 물질적 문화의 전체 점수가 가장 높고, 사회적 실천과 공연이 그 다음입니다. 의식적 행사는 가장 어려운 영역입니다. 문화 점수는 의미 점수에 비해 하락했는데, 그 범위는 축제 카테고리의 -15.6%에서 의복 카테고리의 -30.9%까지입니다.

원리는 간단합니다. 사물을 올바르게 촬영하는 것은 정적인 시각적 문제입니다. 하지만 시간과 공간의 과정을 순서대로 그리고 상호 작용하며 올바르게 촬영하는 것은 다른 차원의 어려움입니다.

그림 7의 실패한 실제 사진은 가장 좋은 예입니다. 일본의 바둑, HappyHorse-1.0의 장면은 올바르게 찍혔지만, 말할 수 있는 조각들은 모두 잘못되었습니다. 에티오피아의 동방정교 십자가의 장면은 모든 모형이 손가락으로 만드는 동작을 표현할 수 없었습니다. 말레이시아의 하리라야(Hari Raya) 장식, HunyuanVideo-1.5는 크리스마스 스타일로 바로 렌더링되었습니다. 고자원 문화의 패턴은 저자원 문화의 장면을 완전히 장악했습니다.

읽은 후 알아두어야 할 몇 가지 사항

첫째,전체 점수를 능력으로 생각하지 마세요.이 논문의 가장 큰 방법론적 기여는 ‘잘 만들었다’와 ‘올바르게 이해했다’를 분리 평가한 것입니다. 모형의 품질이 0.8, 문화는 0.4인 경우 지역 내 콘텐츠를 제작하는 데는 아주 적합하지만, 글로벌 콘텐츠를 제작할 경우에는 실패할 수 있습니다. 모형을 선택할 때는 무엇을 원하는지 고려해야 합니다.

두 번째로,소스 코드 공개가 아닌 것은 확실히 우위를 점하고 있지만, 그것을 신성시되어선 안 됩니다.0.766은 소스 코드 공개 선도자들도 거의 2/3의 문화적 요소를 잘 처리하지 못했다는 것을 의미하고, 0.434의 글자 렌더링은 모든 모형이 전체 워크플로우를 처리할 수 없다는 것을 보여줍니다. 다문화 프로젝트에서는 지역화 검증 단계를 생략할 수 없습니다.

셋째,국가 점수 표는 수집할 가치가 있습니다. 어떤 시장의 내용을 작성할 때는 먼저 해당 국가의 점수를 확인하십시오. 미국, 중국, 인дия 같은 고자원 시장에서는 주요 모형을 신뢰할 수 있습니다. 에티오피아, 말레이시아 같은 시장에서는 0.55~0.63 점수가 문화적 세부사항의 거의 half가 잘못되었다는 것을 의미하며, 수동으로 확인해야 합니다. 저자는 각 모형이 각국에서 작동하는지 여부에 대한 더 자세한 원인-결과 분석을 제공하지 않았습니다. 예를 들어, 결정적인 요인은 트레이닝 데이터의 양인가, 아니면 데이터의 비율인가? 이에 대한 자세한 분석은 논문에서 제공되지 않았습니다.

넷째,AI 평가자는 이 점수보다 더 중요합니다.1,000개의 질문 × 7개의 모형 같은 규모의 평가는 실제 사람들로는 절대 할 수 없습니다. 타깃 명시적 프로토콜(목표를 열거한 다음 증거를 찾은 후 점수를 매기는 것)은 AI 평가자의 관련성을 인간 간 평가의 수준에 가깝게 만들었고, 이 방식은 다음 다모달 평가의 표준이 될 것으로 예상됩니다.

간단히 말해 동영상 제작에서는 AI가 이미 학위를 받았고, 문화에 대한 이해에서는 AI가 아직도 공부를 하고 있습니다. - 그리고 이 논문은 공부 진도에 대한 첫 번째 성적표를 제공합니다.

논문: 문자-비디오 생성에서 문화 이해를 평가하는 CultureVidBench arXiv: https://arxiv.org/abs/2608.01942 프로젝트 페이지: https://hanxjing.github.io/CultureVidBench/