위런치 로고

데이블, 광고 A/B 테스트 왜곡 줄이는 필터 ‘BAFF’ 국제학회 발표

Welaunch
Welaunch
·

지현우 기자|입력
관심
4
388
태그데이블BAFFA/B 테스트ACM RecSys 2026광고 AI
사이트
공유
신청

-추천 시스템 국제학회 ‘ACM RecSys 2026’ 워크숍서 광고 실험 왜곡 연구 발표

-두 알고리즘이 같은 기록 공유하면 성적 착시… 실제 광고 집행 실험으로 확인

-상대 기록 중 ‘나였어도 골랐을’ 데이터만 학습… CPC 기준 1.0~1.3배로 근접



광고 AI 플랫폼 기업 데이블(대표 이채현)이 광고 A/B 테스트 결과가 왜곡되는 현상을 실제 광고 집행으로 확인하고, 이를 줄이는 필터 ‘BAFF(Bid-Aware Filter Family)’를 추천 시스템 분야 국제학회 ‘ACM RecSys 2026’ 워크숍에서 발표했다고 16일 밝혔다. 두 광고 추천 알고리즘이 같은 기록으로 학습하면, A/B 테스트 성적이 각자 혼자 운영했을 때와 달라질 수 있다는 점을 짚은 연구다.


A/B 테스트는 기존·새 알고리즘을 동시에 돌려 더 나은 쪽을 채택하는 방식이다. 실시간 입찰(RTB) 광고에서는 광고 자리마다 경매가 열리고, 알고리즘은 입찰 결과 기록을 보고 다시 배운다. 문제는 테스트 중인 두 알고리즘이 보통 이 기록을 함께 쓴다는 점이다. 새 알고리즘이 상대가 고른 광고와 상대가 써낸 입찰가까지 학습하게 되니, 두 학생이 서로의 답안을 보며 시험을 치른 셈이다. 점수는 좋아 보여도 혼자 풀었을 때의 실력과는 다를 수 있다.


연구진은 광고주 한 곳의 광고 집행에서 7일간 실험했다. 이틀간 새 알고리즘만 혼자 돌려 쌓은 기록으로 ‘정답’ 격인 기준 알고리즘을 만들고, 이어 이틀은 일반 A/B 테스트처럼 두 알고리즘의 기록을 섞었다. 마지막 사흘은 섞인 기록을 네 가지 방식으로 학습한 알고리즘을 기준과 함께 돌려 차이를 쟀다.


결과는 뚜렷했다. 섞인 기록을 모두 쓴 방식과 상대 기록을 모두 뺀 방식은 클릭당 비용(CPC)이 기준의 절반 수준이었고, 클릭률(CTR)도 기준(1.19%)보다 1.4~1.9%포인트 높았다. 겉으로는 좋은 성적이지만 연구진은 이를 왜곡으로 판단했다. 테스트 뒤 혼자 서비스를 맡으면 성적이 달라질 수 있어서다. 앞의 방식은 상대의 선택까지 그대로 배웠고, 뒤의 방식은 간섭은 없앴지만 배울 자료가 모자랐다.


BAFF는 상대 기록을 통째로 쓰거나 버리지 않고 가려 쓰는 필터 묶음이다. 상대 알고리즘이 남긴 기록을 하나하나 되짚어, 그 자리에 새 알고리즘이 있었어도 비슷한 광고를 고르고 비슷한 입찰가를 써냈을지 따져 그렇다고 볼 수 있는 기록만 학습에 쓴다. 옆 사람 답안 가운데 내가 풀었어도 비슷하게 썼을 답만 참고하는 방식이다. BAFF로 학습한 두 방식은 CPC가 기준의 1.0~1.3배, 클릭률 차이는 0.4~0.8%포인트로 앞의 두 방식보다 기준에 가까웠다.


이 문제는 지난해 웹 분야 국제학회 ‘WWW’에서 ‘공생 편향(symbiosis bias)’으로 다뤄졌고, 이번 논문은 이를 실시간 입찰 광고에서 살폈다. 논문은 ACM RecSys 2026의 온라인·적응형 추천 시스템(OARS) 워크숍에 채택돼 9월 28일(현지시간) 미국 미니애폴리스에서 발표됐다.


한규호 데이블 최고기술책임자(CTO)는 “A/B 테스트가 틀린 답을 주면 그 위에 쌓은 판단이 모두 틀어진다”며 “이번에 제안한 필터를 실제 운영 중인 광고 서비스에서 검증했고, 실험 결과를 믿을 수 있게 만드는 연구를 학회와 공개 저장소를 통해 내놓을 예정”이라고 말했다.


A/B 테스트는 광고뿐 아니라 추천·커머스 서비스 전반에서 의사결정의 기본 도구다. 실험 결과의 신뢰도를 높이는 기술은 광고주와 매체가 더 잘 검증된 추천을 받는 기반이 된다는 점에서 파급력이 작지 않다. 광고주와 광고 지면 판매 플랫폼으로 실험 대상을 넓혀 같은 효과를 재현하는 일이 BAFF의 다음 과제로 꼽힌다.




Welaunch 지현우 기자

스타트업∙딥테크 뉴스 전문 미디어-위런치

Copyright ⓒ Welaunch. All rights reserved.


보도자료/기고 : editor@welaunch.kr

광고/제휴 문의 : we@welaunch.kr


Welaunch
Welaunch
다른소식

기자의 다른 뉴스 로딩 중...
영상 소식