HSAD AI LABS 소속 박윤형 아트디렉터가 국내 최초로 개최된 제1회 대한민국 AI 국제영화제(KAIFF)에서 ‘아트&컬처’ 부문 1위를 수상했습니다. AI LABS는 AI를 활용한 크리에이티브를 담당하고 있는 부서로, 올해 초에 신설되어 AI 크리에이티브 제작을 위한 워크플로우 구축과 AI 선행연구를 기반으로 한 콘텐츠 제작에 앞장서고 있습니다. 이번 수상은 박윤형 아트디렉터를 비롯한 HSAD의 AI 제작 역량을 입증하는 사례로 볼 수 있는데요. 박윤형 아트와 인터뷰를 진행함으로써 AI 제작 경험과 향후 계획 등에 대해 이야기를 나누어 보았습니다.
Q. 안녕하세요, 우선 본인 소개 부탁 드립니다.
안녕하세요. AI LABS에서 생성형 AI 선행연구 및 AI를 활용한 크리에이티브 업무를 맡고 있는 박윤형 아트디렉터라고 합니다. 2018년부터 CR센터에서 아트디렉터로 일했고 지금은 AI LABS에서 일하고 있습니다.
Q. 영국왕립예술대학에서 정보 경험 디자인과 석사 전공을 마쳤다고 들었는데, 어떤 공부를 했고 어떤 프로젝트에 참여하셨는지 간략하게 설명 부탁 드립니다.
아트디렉터로 일하면서 나만의 특장점이 뭘지, 고민이 많았습니다. 앞으로 10년 동안 제가 어떤 방향으로 성장할지 고민하다가 유학을 선택하게 되었고 2년간 런던으로 다녀왔습니다.
영국왕립예술대학의 정보경험디자인학과는 예술과 기술 분야의 융합 가능성을 탐구하는 연구와 교육을 하고 있습니다. 저는 정보경험디자인학과에서 생성형 AI를 활용한 매체간-차원간 변환을 주제로 텍스트가 이미지로, 이미지가 영상으로, 영상이 3D로, 3D가 다시 실물로 변환되는 순환 과정에 대한 AI의 역할을 연구하였습니다.
영국왕립예술대학에서 공부하는 동안 생성형 AI와 관련된 여러 프로젝트에 참여할 기회가 있었습니다. 먼저 BBC의 주관으로 윈저성에서 진행한 영국 국왕 찰스 3세 대관식에 생성형 AI 아트웍으로 참여하게 되었습니다. 또한 런던의 융합예술 연구기관 Ikelectik에서 라이브 퍼포먼스를 진행하였고, 오스트리아의 미디어아트 페스티벌 Ars Electronica에 생성형 AI를 활용한 작업으로 대학 대표로 전시 참여 했습니다. 네덜란드 아인트호벤의 MU Hybrid Arthouse에서 단체전에 개인 작업으로 참여하기도 했습니다.
BBC 주관으로 윈저성에서 진행한 ‘영국 국왕 찰스 3세 대관식’의 AI 아트웍
Q. AI와 관련된 예술 영역을 공부하게 된 계기는 무엇이었나요?
제가 유학을 시작한 때는 ChatGPT의 오픈 베타 출시, Stable Diffusion의 배포 등 생성형 AI의 역사에 큰 이벤트가 있었습니다. 생성형 AI가 널리 알려지기 시작한 초창기였습니다. 새로운 기술 분야에 관심이 많아 자연스럽게 생성형 AI의 가능성에 대한 연구 주제를 잡게 되었습니다. 저는 학부 때 가구 디자인을 전공하면서 시각 디자인을 전공하고, 브랜드 디자인 일을 하다가 또 광고 아트디렉터로 일하는 등 다양한 경험이 있었습니다. 제가 가지고 있는 다양한 경험을 하나로 이어 줄 수 있는 가능성이 생성형AI에 있다고 생각했습니다. 그래서 AI의 예술적 활용에 대해 연구하게 되었습니다.
Q. AI 예술 영역이 생긴 지 얼마 되지 않은 분야인데, 그로 인한 어려움은 없으셨나요?
첫째로는, 참고 문헌이나 선행 연구 자료가 비교적 적다는 것이 어려운 부분이었습니다. 둘째로는, 생성형 AI관련된 프로그램들이 일주일 단위, 때로는 하루 단위로 엄청난 속도로 업그레이드가 되고 있어 한 달 전의 지식이 지금은 무용해지는 경우도 종종 있습니다. 그 발전 속도를 따라가는 것이 어려운 부분이었습니다. 주말이 지나고 출근하면 새로운 기술이 출시되고, 완전히 새로운 업그레이드가 나오는 일이 빈번해 매일 배워야 하는 점이 쉽지 않다고 느끼고 있습니다.
Q. 광고 영역에 AI가 도입되고, 아트디렉터 업무를 하면서 느끼는 가장 큰 차이점은 무엇인가요?
AI가 도입되었다고 해서 아트디렉터의 업무에 큰 차이가 있다고 느껴지지는 않습니다. 오히려 아트디렉터 한 명이 커버할 수 있는 제작 과정의 범위가 넓어지는 느낌입니다. 이러한 변화는 어느 회사나 마찬가지로 느낄 것이기 때문에 장기적으로 광고주와 프로덕션과 대행사의 업무 범위가 겹치며 경계가 모호해질 수도 있겠다는 생각이 듭니다.
Q. 대한민국 AI국제영화제에서 <기억의 잔영> 이란 작품으로 아트&컬처 부문 1위를 수상하셨습니다. 작품 내용 및 제작 과정에 대해 설명 부탁드립니다.
생성형 AI는 새로운 카메라입니다. 머릿속에 담긴 모호한 생각들을 손에 잡히는 그림으로 만들어주는 기술은 카메라 발명이 사람들에게 준 것과 같은 신선함을 주었습니다. 때문에 조금은 퀄리티가 떨어지더라도 ‘이 광고는 AI로 만들어진 광고입니다’라는 문구를 붙여 결과물을 앞다퉈 내놓았습니다. AI로 만든 영상은 지금까지 기술적 신선함을 전면에 내세웠습니다. 그러나 저희 HSAD는 이제 다음 단계를 바라보고자 합니다. 우리는 AI가 기술적 신기함을 위해 쓰이는 게 아닌 내러티브를 더 풍성하게 만드는데 쓰이는 용도를 보여주고자 합니다. 좋은 영상을 만들기 위한 하나의 카메라로써 AI를 도입하고 그 서정적인 결과물을 제시한 결과물입니다.
작업은 AI로 100% 생성 후 팀 내에서 후반작업 진행하였습니다. 시안 단계에서 DASH AI를 활용하고 이미지 AI를 이용해 이미지 컷을 추가생성하고 생성된 이미지를 기반으로 영상 AI에서 image to video 작업을 진행하였습니다. 하나의 씬이 매끄럽게 이어지는 것을 위해 여러 가지 방법을 연구하고 적용하였습니다. 시작 이미지와 이어질 후속 컷 이미지를 추가하여 만족스러운 카메라 움직임과 트랜지션이 생성될 때까지 반복하였습니다. 영상의 후반 작업 과정에서 장노출, 흑백, 노이즈 필터와 같은 효과를 적용해 영상을 정리했습니다. 이후 AI voice-over 기능을 이용해 작성한 대사를 기입하였고, 영상의 분위기에 맞는 목소리 스타일을 선정하여 음성을 생성하였습니다.
< 기억의 잔영 > | 제 1 회 대한민국 AI 국제영화제 (KAIFF) ‘ 아트 & 컬처 ’ 부문 1 위 수상 / 출처: Whitewhale 유튜브
Q. 이번 영화제에 어떻게 참여하게 되셨는지, 그리고 수상 소감은 어떠신지 궁금합니다.
한국문화예술위원회 관계자분께서 연락이 오셔서 AI 영화제가 열리는데 한번 지원해 보는 것이 어떠냐는 추천을 해주셨고 저는 이 영화제가 HSAD의 DASH 및 회사의 AI 역량을 보여주고 AI에서 경쟁사보다 앞서간다는 포지셔닝을 할 수 있는 좋은 기회라고 생각해 내부 보고 드린 후 진행했습니다. 수상까지는 기대하지 못했고 HSAD의 영상 제작 프로세스를 정리하는 차원에서 접근했습니다. 좋은 결과도 있어서 기쁘지만 앞으로 DASH를 발전시키는데 보탬이 되어야 장기적으로 의미 있는 결과가 될 것 같습니다.
Q. 영상을 카메라로 찍는 것과 AI로 제작하는 것에 차이점이 있을까요?
둘의 차이라기보다는 생성형 AI라는 이름의 새로운 종류의 카메라가 생겼다고 생각합니다. 드론이 촬영한 영상과 위성으로 찍은 영상과 캠코더로 찍은 영상이 다르듯 스타일이 다른 영상 재료가 생기는 것인 듯합니다. 40-50년 전만 해도 영상을 찍을 때 큰 비용이 필요했습니다. 지금은 아이폰만으로도 광고를 찍는다는 시대가 되었습니다. 누구나 영상을 찍을 수 있게 되면서 콘텐츠의 내용도 양도 풍부해졌습니다. AI도 이렇게 새로운 내러티브를 발전시킬 수 있는 좋은 도구가 될 것이라고 기대하고 있습니다.
Q. AI와 관련 전공 및 예술분야에서의 커리어가 추후 업무에서 어떤 시너지를 낼 것으로 기대하시나요?
AI가 데이터분석, 코딩 등 여러 분야에서 압도적인 성과를 내고 있어서 MS Copilot 등 특정 AI 툴들은 이제 없는 것이 상상이 안 될 정도로 보급이 되었습니다. 크리에이티브 분야에서도 더 큰 성과를 낼 수 있도록 발전시키는 것이 최종적인 목표입니다. 예술 분야를 통해 AI의 활용에 대한 선행적인 연구를 하고 있기 때문에 AI의 가능성을 먼저 엿볼 수 있다고 생각합니다. 제 전공 및 예술 분야의 커리어가 AI 선행연구 및 회사 BP(Best Practice) 창출에 시너지를 낼 것으로 기대하고 있습니다.
한국문화예술위원회 2024 청년예술가도약지원 생성형AI 작가로 선정되어 개최된 개인전 <바벨의 파편들>
Q. AI LABS은 어떤 팀인지, 그리고 팀에서 현재는 어떤 업무를 진행하고 계신지 소개해주세요.
크게 세 가지 과업이 진행 중입니다.
첫째, AI 크리에이티브 제작 워크플로우 도입
둘째, AI 선행연구 및 내부 AI 역량 강화
셋째, AI BP창출 및 수익화입니다.
첫째, AI 크리에이티브 제작 워크플로우 도입은 콘티 및 키비주얼 AI화를 위해 CR센터 포토샵용 커스텀 AI 툴 개발 및 도입 연구, LG 제품 마케팅 이미지 제작 워크플로우 구축, POC 제작물 AI화 및 워크플로우 도입, 표준화를 통한 작업 프로세스 구축 등의 작업을 말합니다. 또한 영상(애니매틱) AI화를 위해 최신 AI 기술을 적용한 단편 영상 제작 및 현업 애니매틱 적용 사례연구를 진행하고 있고 제품/모델 AI화 과정을 거쳐 현업 제작을 위한 LG전자 및 기타 광고주의 제품 Image Asset 및 모델 AI화를 하는 업무가 첫째로 진행 중입니다.
둘째, AI 선행연구 및 내부 AI 역량 강화는 AI 선행연구 및 사내 전파, AI 외주 Pool 구축 및 관리를 하는 부분입니다. AI 트렌드 및 선행연구 자료, 테스트 과정과 결과를 종합하여 내부용 리포트 제작 및 공유하며 전사 직원 대상 AI툴 강의 진행하고 차년도 DASH Pro 모드 활용 솔루션 구축을 위한 AX, BX, CX 사업부 별 맞춤 AI Q&A 세션을 진행했습니다. AI 역량 강화 및 생산 효율 제고를 위한 AI 외주 Pool 검토 및 선별을 위해 여러 AI관련 업체들과 컨택을 진행하며 Pool 구축 중입니다.
셋째, AI BP(Best Practice) 창출 및 수익화 업무에서는 경찰청 실종아동네컷 AI 에이징 기술 도입 및 제작 등 여러 프로젝트를 진행하며 AI를 활용한 BP창출 및 수익화를 위한 경험을 쌓고 결과물을 만들어내고 있습니다.
Q. 대시 AI를 비롯한 AI의 활용이 HSAD와 광고업에 어떤 영향을 끼칠 것이라고 기대하시나요? (AI의 활용 가능성, 업무적 이점 등)
광고업뿐 아니라 모든 업의 의사결정 과정에서는 언어를 시각화하는 과정이 필요하다고 생각합니다. 소통을 명확하게 하기 위해서입니다. 장표를 만들거나 시안을 만들고, 영상을 만드는 커뮤니케이션이 항상 필요한데 대시 AI를 비롯한 비주얼 생성형 AI의 활용이 커뮤니케이션 단계를 줄여줄 것이라는 기대가 됩니다.
아트디렉터 업무를 크게 두 단계로 가른다면 커뮤니케이션 부분과 완성품 제작 부분이라고 볼 수 있을 것 같습니다.
첫 번째 단계는 아이디어와 시안을 만들어 사내의 구성원을 설득하거나 외부의 광고주를 설득하는 커뮤니케이션 과정, 두 번째 단계는 정해진 안을 최종 완성품으로 만들어내는 제작 및 배리에이션 단계라고 본다면 현재의 AI는 첫 단계의 커뮤니케이션 과정에 도움을 줄 수 있는 가능성이 크다고 생각합니다.
Q. 추후에 해보고 싶으신 AI 작업에 있으신가요?
업무 영역, 예술 영역에 모두 해당되는 내용인데, 언어를 어떻게 하면 좀 더 정교하게 이미지로 옮길 수 있을 것인지 언어학과 기호학을 조금 공부하고 그 관점에서 연구해보고 싶습니다.
Q. 마지막으로 인터뷰를 통해 남기고 싶은 말씀 한 마디 부탁 드립니다.
생성형 AI는 업무를 돕는 도구가 되어야지 업무에 부담을 주는 도구가 아닙니다만 아직도 생성형 AI의 초기 단계이기 때문에 접근성이 떨어지는 부분이 있습니다. 필름 카메라의 시대에서 디지털카메라의 시대로 바뀐 것처럼 점점 사용하기 쉬운 방향으로 발전해 나갈 것이라고 생각합니다.
