신호 비디오언어모델의 기초적 '사건 계수' 실패 원인 규명하는 벤치마크 제시

요약

이 프리프린트는 실세계 비디오 벤치마크가 폭넓은 범위를 다루지만, 고정된 클립 안에 사건 횟수와 발생률, 길이, 시각적 복잡도가 뒤섞여 있어 모델의 실패 원인을 정확히 짚어내기 어렵다고 지적한다. 기존의 프로그램적으로 생성된 벤치마크는 이런 요소들을 더 잘 통제할 수 있지만, 실행 가능한 정답과 대조해 보고된 사건을 검증하지 않고 최종 답만 채점하는 한계가 있다. 이 간극을 메우기 위해 저자들은 이런 요인들을 체계적으로 바꿔가며 보고된 사건을 검증 가능한 정답과 대조할 수 있는 궤적기반 파라메트릭 프로파일링 벤치마크를 도입했다. 이 벤치마크는 사건 수를 늘리거나 클립 길이를 바꾸는 등 각 요인을 독립적으로 조절할 수 있도록 설계됐다. 이 벤치마크를 이용한 실험에서, 교란 요인을 제대로 분리하고 나면 비디오언어모델이 영상 속 개별 사건을 정확히 세거나 추적하는 기초적인 과제에서도 어려움을 겪는다는 사실이 드러났다.