인공지능학과 강재모 교수팀, 흐릿한 사진 속 글자와 화질 함께 개선하는 AI 기술 개발로 문자 가독성과 영상 품질을 함께 높이는 ‘GLYPH-SR’ 제안…머신러닝 저명 국제학술지 TMLR 게재 승인

경북대학교 인공지능학과 강재모 교수 연구팀이 저해상도 사진의 화질을 개선하면서 사진 속 글자도 정확하게 복원하는 인공지능 기술 ‘GLYPH-SR’을 개발했다. 이번 연구 성과는 머신러닝 분야 저명 국제학술지 ‘Transactions on Machine Learning Research(TMLR)’에 게재 승인됐다. 논문 제목은 ‘A Bi-Objective Framework for Scene Text Super-Resolution: Balancing Legibility and Fidelity’으로, TMLR은 머신러닝 연구를 저널로, 연구의 기술적 타당성을 중시하며 OpenReview를 통해 심사 과정의 개방성과 투명성을 추구한다.

사진 속 간판이나 상품 라벨에 담긴 글자는 주변 환경을 이해하는 데 중요한 정보를 제공한다. 그러나 멀리서 촬영하거나 해상도가 낮은 사진에서는 글자가 흐릿해져 내용을 읽기 어렵다. 저해상도 이미지를 고해상도로 복원하는 ‘초해상화’ 기술이 이러한 문제를 개선할 수 있지만, 사진이 선명해지더라도 글자의 내용까지 정확하게 복원되는 것은 아니다.

기존 초해상화 기술은 주로 사진 전체의 선명도와 자연스러움을 높이는 데 초점을 맞춰 왔다. 이 과정에서 작은 글자를 일반적인 무늬처럼 처리해 원래와 다른 문자로 바꾸거나, 오류를 피하려다 글자를 흐릿한 상태로 남기는 문제가 발생할 수 있다. 특히 사진 전체의 품질을 평가하는 지표만으로는 작은 문자 영역에서 발생하는 오류를 충분히 파악하기 어렵다.

연구팀은 이러한 한계를 개선하기 위해 ‘사진 전체의 시각적 품질’과 ‘문자의 가독성’을 함께 고려하는 초해상화 방법을 제안했다. GLYPH-SR은 시각·언어 정보를 활용하는 확산 모델 기반 기술로, 저해상도 이미지에서 추정한 글자의 내용과 위치, 장면 전체에 대한 설명을 복원 과정에 함께 반영한다. 이를 통해 글자가 무엇을 의미하고 어디에 놓여 있는지를 고려하면서 주변 배경도 자연스럽게 복원하도록 설계했다.

핵심 기술은 문자 정보와 영상 복원 정보를 결합하는 ‘TS-ControlNet’과 두 정보를 번갈아 활용하는 ‘핑퐁 스케줄러’다. 문자 복원에 집중하는 단계와 장면 전체의 구조·질감을 다듬는 단계를 교대로 수행해 두 목표 사이의 균형을 맞춘다. 또한, 전체 화질과 글자 손상 정도를 각각 조절한 합성 학습 데이터를 구축하고, 문자 복원에 필요한 모듈을 중심으로 학습해 기존 모델의 영상 복원 능력을 함께 활용했다.

연구팀은 SVT, SCUT-CTW1500, CUTE80 등 세 가지 공개 데이터셋에서 4배·8배 초해상화 실험을 진행했다. 특히 SVT 데이터셋의 8배 복원 실험에서 문자 인식 성능을 나타내는 OpenOCR F1 점수는 48.79점을 기록했다. 이는 비교 대상 기존 기법의 최고 점수인 33.61점보다 15.18점 높은 혁신적인 SOTA 결과다. 같은 실험 조건에서 영상 품질을 평가하는 MANIQA, CLIP-IQA, MUSIQ 지표에서도 비교 기법 중 가장 높은 점수를 기록해, 문자 인식 성능과 시각적 품질을 함께 개선할 수 있음을 확인했다.

이번 연구는 이미지 복원 기술의 성능을 평가할 때 사진의 외관뿐 아니라 사진에 담긴 문자 정보가 얼마나 정확하게 유지되는지도 함께 살펴야 한다는 방향을 제시했다는 점에서 의미가 있다. 향후 도로 표지판과 상점 간판 인식, 유통·물류 현장의 상품 라벨 판독 등 영상 속 문자 정보를 활용하는 다양한 시스템의 기반 기술로 응용될 것으로 기대된다.