강재모 교수 연구팀, 생성형 AI의 공정성과 안전성 높이는 핵심 기술 개발

논문 제목: Responsible Text-to-Image Diffusion: Interpretable and Linearly Controllable Semantics for Fair and Safe Generation

텍스트-이미지 생성 AI의 편향·유해 이미지 문제 해결… ICML 2026 채택

경북대학교 인공지능학과 강재모 교수 연구팀이 텍스트를 입력하면 이미지를 생성하는 인공지능, 즉 텍스트-이미지 생성 AI(Text-to-Image Diffusion Model)의 공정성과 안전성을 높이는 새로운 기술을 개발했다. 해당 연구는 세계적 권위의 머신러닝 학술대회 ICML 2026에 채택되며 연구의 우수성을 인정받았다. 이번 연구는 생성형 AI가 고품질 이미지를 만들 수 있음에도 불구하고, 특정 직업이나 역할을 특정 성별·인종과 연결해 생성하거나 부적절한 이미지를 만들어내는 문제를 해결하는 데 초점을 맞췄다. 논문은 최신 텍스트-이미지 확산 모델이 뛰어난 생성 품질을 보이지만, 여전히 편향적이거나 부적절한 이미지를 생성할 위험이 있다고 지적한다. 특히 기존 연구들은 주로 Stable Diffusion 계열과 같은 U-Net 기반 모델에 한정되어 있었으나, 최근에는 FLUX, PixArt, SD3.5 등 비전 트랜스포머(ViT) 기반 생성 모델이 빠르게 확산되고 있다. 연구팀은 기존 방식이 이러한 최신 모델에는 직접 적용되기 어렵다는 한계를 확인하고, 다양한 생성 AI 구조에 모두 적용 가능한 아키텍처 독립형 공정·안전 생성 프레임워크를 제안했다.

AI 내부에서 ‘의미’를 찾아 조절하는 기술

연구팀의 핵심 성과는 생성형 AI 내부에서 성별, 인종, 나이, 스타일, 안전성 등 사람이 이해할 수 있는 의미 속성을 개념 벡터(concept vector) 형태로 찾아내고 조절할 수 있게 한 것이다. 기존 U-Net 기반 생성 모델에서는 병목층, 이른바 h-space가 의미 정보를 담는 공간으로 알려져 있었다. 그러나 ViT 기반 모델에서는 이에 대응하는 해석 가능한 공간이 명확히 밝혀지지 않았다. 연구팀은 ViT 기반 확산 모델의 멀티모달 어텐션 헤드(multi-modal attention head)가 U-Net의 h-space와 유사하게 해석 가능하고, 거의 선형적으로 조절 가능한 의미 구조를 갖고 있음을 보였다. 이를 바탕으로 연구팀은 사전학습된 생성 모델의 파라미터를 직접 수정하지 않고, 외부에서 학습 가능한 개념 벡터만 추가하는 방식을 설계했다. 즉, 기존 모델은 그대로 유지하면서도 특정 의미 속성을 선택적으로 더하거나 줄일 수 있도록 만든 것이다.

모델을 다시 학습하지 않고도 공정한 이미지 생성 가능

이번 연구의 강점은 기존 생성 모델 전체를 다시 학습하지 않아도 된다는 점이다. 연구팀은 모델 내부 파라미터를 고정한 상태에서, 특정 속성을 나타내는 외부 개념 벡터만 학습한다. 예를 들어 “의사 사진”을 생성할 때 남성과 여성 개념 벡터를 균형 있게 적용하면, 한쪽 성별로 치우치지 않는 이미지 생성이 가능하다. 논문에 제시된 실험에서는 PixArt, FLUX, SD3.5, SDXL 등 다양한 최신 텍스트-이미지 생성 모델을 대상으로 평가를 수행했다. WinoBias 기반 36개 직업군 평가에서 제안 방법은 기존 방법 대비 성별·인종 편향을 크게 줄이면서도 이미지 품질과 텍스트-이미지 정합성을 유지했다. 예를 들어 Fig. 1에서는 “a photo of a doctor”라는 프롬프트에 대해 기존 모델이 특정 성별로 치우친 이미지를 생성하는 반면, 제안 방법은 더 균형 잡힌 결과를 생성하는 사례를 보여준다. 또한 Table 1의 정량 평가에서는 PixArt, FLUX, SD3.5, SDXL 모두에서 제안 방법이 편향 지표를 크게 낮추는 동시에 FID와 CLIP 점수에서도 경쟁력 있는 성능을 보였다. 이는 공정성을 높이는 과정에서 이미지 품질이나 문장-이미지 일치도를 희생하지 않았다는 점에서 의미가 크다.

안전한 생성형 AI를 위한 확장 가능성도 확인

연구팀은 공정성뿐만 아니라 안전성 측면에서도 기술의 효과를 검증했다. I2P 데이터셋을 활용한 평가에서 제안 방법은 성적·폭력적·혐오적·자해 관련 이미지 등 부적절한 콘텐츠 생성을 크게 줄였다. 논문 Table 4에 따르면, ViT 기반 FLUX 모델의 경우 부적절 이미지 생성 비율이 평균 64%로 나타났으나, 제안 방법을 적용하면 20%까지 낮아졌다. U-Net 기반 SDXL에서도 기존 방법 대비 더 낮은 부적절 콘텐츠 생성률을 보였다. Fig. 6에서는 동일한 프롬프트와 동일한 랜덤 시드를 사용했을 때, 기존 모델은 유해한 이미지를 생성하는 반면 제안 방법은 anti-sexual, anti-violence 개념 벡터를 활용해 보다 안전한 이미지를 생성하는 사례가 제시되어 있다.

‘조절 가능한 AI’로서의 활용 가능성

이번 연구는 단순히 편향을 줄이는 데 그치지 않는다. 개념 벡터가 선형적으로 조절 가능하다는 점을 활용하면, 이미지의 성별·나이·스타일·색상·동작·물체 상태 등을 직관적으로 조정할 수 있다. 예를 들어 Fig. 12와 Fig. 13에서는 사람 중심 이미지뿐 아니라 동물, 로봇, 자동차, 풍경 등 비인간 중심 프롬프트에서도 스타일, 색상, 움직임, 만화풍 표현 등을 개념 벡터로 조절하는 사례가 제시되어 있다. 이는 제안 기술이 공정한 인물 생성뿐만 아니라, 콘텐츠 제작과 이미지 편집 전반에도 폭넓게 활용될 수 있음을 보여준다.

생성형 AI 신뢰성 확보를 위한 기반 기술

이번 연구는 생성형 AI의 사회적 책임과 신뢰성 확보 측면에서 중요한 의미를 갖는다. 최근 생성형 AI가 교육, 광고, 디자인, 미디어, 산업 콘텐츠 제작 등 다양한 분야에 활용되면서, AI가 만들어내는 결과물이 공정하고 안전하며 설명 가능해야 한다는 요구가 커지고 있다. 연구팀의 기술은 생성 모델 내부의 특정 의미 속성을 분리해 관찰하고 조절할 수 있도록 함으로써, 기존의 불투명한 프롬프트 조작 방식보다 더 체계적인 AI 제어 방법을 제공한다. 논문 역시 이 기술이 성별, 인종, 스타일, 안전성 등 다양한 의미 속성을 모듈형으로 제어할 수 있어, 생성형 AI의 감사(auditing), 편향 완화, 안전한 배포에 기여할 수 있다고 설명한다.

연구 의의

이번 성과는 최신 생성형 AI 모델의 구조 변화에 대응했다는 점에서 특히 주목된다. 기존 공정성 개선 기술이 U-Net 기반 모델에 머물렀다면, 이번 연구는 FLUX, PixArt, SD3.5와 같은 최신 ViT 기반 모델까지 포괄하는 범용 프레임워크를 제시했다. 이는 향후 생성형 AI가 더욱 복잡하고 대규모화되는 상황에서도 공정성, 안전성, 해석 가능성을 함께 확보할 수 있는 기반 기술로 평가된다.