AI가 통계 모델과 다르게 판단할 때: 34경주 채점 기록
요약(TL;DR): OddsCast의 예측은 두 단계로 만들어집니다. 먼저 통계 모델이 말마다 점수를 매기고, 그다음 경마 마스터 AI가 경주 전체를 읽고 점수를 다시 씁니다. 2026년 8월 24일 배포부터는 다시 쓴 쪽이 화면에 나가고 적중률도 그쪽으로 채점됩니다. 8월 22~23일 34경주를 소급 작성해 두 판단을 같은 경주 위에서 채점하니 마스터 61.76%, 모델 56.86%였고, 명단이 갈린 20경주만 보면 60.00% 대 51.67%였습니다. 표본 34경주의 신뢰구간은 아직 0을 포함하고, 같은 주말 마감 배당은 63.73%로 둘 다 앞섰습니다.
OddsCast의 AI 경마 예측 화면에는 말마다 점수가 하나씩 붙습니다. 그 숫자 하나를 만드는 데 판단이 두 번 들어갑니다. 이 글은 두 판단이 갈렸을 때 실제로 어느 쪽이 맞았는지를 34경주에서 채점한 기록입니다. 기준 시점은 2026년 8월 25일입니다.
AI 경마 예측은 점수를 두 번 매긴다
첫 번째는 통계 모델입니다. 한국마사회(KRA) 공공데이터에서 뽑은 레이팅, 최근 성적, 기수·조교사 기록, 거리 적성 등 열일곱 가지 요소를 정해진 가중치로 합산해 말마다 점수를 냅니다. 규칙이 고정되어 있어서 같은 입력에는 언제나 같은 점수가 나옵니다.
두 번째는 경마 마스터 AI입니다. 모델이 매긴 점수와 각 말의 원자료를 함께 받아 경주 하나를 통째로 읽고, 0점에서 100점 사이로 서열을 다시 세웁니다. 사람 예상가가 출마표를 앞에 놓고 하는 일과 같은 순서입니다.
2026년 8월 24일 배포 전까지는 두 번째 판단이 설명 문장만 담당했습니다. 화면의
점수도 적중률 채점도 전부 통계 모델의 숫자였습니다. 배포 이후로는 마스터가 다시
매긴 점수가 화면에 나가고, 적중률도 그 점수 순서로 채점됩니다. 모델이 매긴 원래
점수는 말마다 modelScore 항목에 그대로 남습니다
(server/src/predictions/scores/score-builder.ts). 두 판단을 나중에 같은 경주에서
다시 채점하려고 남겨 둔 것입니다.
| 항목 | 통계 모델 | 경마 마스터 AI |
|---|---|---|
| 입력 | 열일곱 가지 요소의 수치 | 모델 점수 + 각 말의 원자료 |
| 방식 | 고정 가중치 합산 | 경주 전체를 읽고 서열 재작성 |
| 같은 입력에 같은 답 | 항상 같음 | 조금씩 달라짐 |
| 화면·채점 반영 | 2026-08-24 배포 전까지 | 2026-08-24 배포부터 |
| 저장 위치 | 각 말의 modelScore |
각 말의 score |
되돌릴 장치도 함께 넣었습니다. 환경변수 MASTER_SCORE_AUTHORITY를 false로 두면
채점 기준이 통계 모델로 즉시 돌아갑니다.
얼마나 자주 다른가: 34경주 중 20경주
2026년 8월 22~23일 서울·제주·부산경남 34경주에 마스터 판단을 소급 작성해 넣고 확인했습니다. 적중률은 AI가 꼽은 상위 3마리 중 몇 마리가 실제 3착 안에 들었는지의 비율입니다.
| 두 판단의 관계 | 경주 수 | 비율 |
|---|---|---|
| 상위 3마리 명단이 다름 | 20경주 | 58.8% |
| 명단은 같고 순서만 다름 | 14경주 | 41.2% |
| 첫손에 꼽은 말이 다름 | 16경주 | 47.1% |
절반이 넘는 경주에서 명단 자체가 달라집니다. 마스터는 모델이 3순위 밖에 두었던 말을 34경주 동안 23마리 상위 3순위로 끌어올렸고, 대신 모델이 3순위 안에 두었던 말 23마리를 밖으로 내렸습니다. 한 경주에 평균 10마리가 출전하니, 경주마다 상위 세 자리 중 한 자리를 바꾼 정도입니다.
한 경주를 뜯어보면
2026년 8월 23일 서울 3경주(1400m)의 상위 다섯 마리입니다.
| 순위 | 통계 모델 | 마스터 AI | 실제 결과 |
|---|---|---|---|
| 1 | 대동용마 (19.91점) | 대동용마 (72점) | 1착 대동용마 |
| 2 | 델타최강 (16.34점) | 클러치월드 (64점) | 2착 블루하와이 |
| 3 | 블루하와이 (16.04점) | 블루하와이 (60점) | 3착 클러치월드 |
| 4 | 서부킹 (15.42점) | 델타최강 (57점) | |
| 5 | 클러치월드 (15.20점) | 서부킹 (54점) |
모델은 세 마리 중 두 마리를 맞혔고, 마스터는 세 마리를 다 맞혔습니다. 차이를 만든 말은 클러치월드입니다. 모델 점수로는 5위였고, 마스터가 2위로 끌어올렸고, 실제로 3착에 들어왔습니다. 마스터가 남긴 근거는 두 가지였습니다. 조교사 지표 81로 출전 편성에서 가장 좋은 마방 소속이라는 점, 그리고 시장이 이 말을 두 번째로 높게 평가했다는 점입니다.
이 34경주를 라이브 성적으로 읽으면 안 되는 이유
두 번째 근거를 그대로 따라가 보면 문제가 나옵니다. 마스터가 본 "시장 29.4%"는 마감 배당 3.4배를 확률로 환산한 값입니다. 마감 배당은 경주가 끝나야 확정되는 숫자입니다. 34경주 전부가 이미 끝난 경주를 소급 작성한 것이라, 마스터는 실제 경주 전 예측에는 존재하지 않는 정보를 보고 판단했습니다. 34건 모두 판단 근거에 배당이나 시장 평가가 등장합니다.
그 정보가 항상 도움이 된 것도 아닙니다. 8월 22일 서울 1경주에서 마스터는 하이라이트를 "시장이 3.3%로 차갑게 보는 점이 마음에 걸려" 1순위에서 2순위로 내렸습니다. 하이라이트가 30.4배 배당으로 우승했습니다. 같은 경주에서 마스터는 유니콘에이스도 시장 지지가 더 높은 말에게 자리를 내주며 3순위 밖으로 밀어냈고, 유니콘에이스는 2착에 들어왔습니다. 이 경주는 모델이 세 마리를 다 맞혔고 마스터가 두 마리를 맞혔습니다.
같은 주말의 마감 배당을 직접 채점해 보면 더 분명해집니다.
| 34경주 채점 | 적중률(3착 안) | 1착마를 3순위 안에 넣은 비율 |
|---|---|---|
| 경마 마스터 AI (소급 작성) | 61.76% | 79.41% |
| 통계 모델 | 56.86% | 82.35% |
| 마감 배당 상위 3마리 | 63.73% | 70.59% |
마감 배당을 볼 수 있었던 마스터가 마감 배당 자체보다 낮았습니다. 그리고 1착마를 상위 3순위 안에 넣은 비율은 통계 모델이 82.35%로 셋 중 가장 높았습니다.
한 가지 더 있습니다. 적중률의 천장을 잰 글에서 정리했듯이, 1,443경주 장기 검증에서 마감 배당의 3착 안 적중률은 55.31%입니다. 이번 주말의 63.73%는 그보다 8%포인트 높습니다. 마감 배당의 적중률이 평소보다 유난히 높았던 주말이고, 그 위에서 잰 세 숫자 모두 평소보다 후하게 나왔다고 봐야 합니다.
경마 AI 분석에 값어치가 있었나
명단이 갈린 20경주만 따로 채점하면 이렇습니다.
| 명단이 갈린 20경주 | 마스터 AI | 통계 모델 |
|---|---|---|
| 적중률 | 60.00% | 51.67% |
| 더 잘 맞힌 경주 수 | 9경주 | 4경주 |
| 같은 성적 | 7경주 | 7경주 |
마스터가 3순위 밖에서 끌어올린 말 23마리 중 9마리(39.1%)가 3착 안에 들었고, 3순위 밖으로 내린 말 23마리 중에서는 4마리(17.4%)만 들어왔습니다. 올린 쪽이 내린 쪽보다 두 배 넘게 들어왔습니다. 손댄 방향 자체는 맞았습니다.
문제는 표본입니다. 34경주에서 두 판단의 적중률 차이는 +4.90%포인트이고, 이 차이를 2,000번 넘게 다시 뽑아 재면 95% 신뢰구간이 -1.96%포인트에서 +11.77%포인트 사이에 걸칩니다. 구간이 0을 포함하면 우열을 판정할 수 없다는 것이 OddsCast가 개선안을 채택할 때 쓰는 기준입니다. 같은 기준을 마스터 권위에도 그대로 적용하면, 지금 34경주로는 아무것도 증명되지 않았습니다.
경마 예측 정확도, 어느 코호트의 수치인가
같은 "적중률"이라도 어느 기간 어느 조건에서 잰 것인지에 따라 값이 크게 달라집니다. 이 글에 나온 수치를 코호트와 함께 정리해 둡니다.
| 수치 | 코호트 | 값 |
|---|---|---|
| 프로덕션 누적 적중률 | 2023-08-25 ~ 2026-08-24, 6,758경주, 통계 모델 기준 | 48.95% |
| 배포 모델 홀드아웃 | 2026-01-01 ~ 2026-08-16, 1,443경주 검증 | 53.48% |
| 마감 배당 (장기) | 같은 1,443경주 | 55.31% |
| 마스터 AI | 2026-08-22~23, 34경주, 소급 작성 | 61.76% |
누적 48.95%는 프로덕션에 남은 실제 예측 6,758건의 평균이고 전부 통계 모델 기준 수치입니다. 계산에 쓸 수 없는 플레이스홀더 예측 181건은 제외했습니다. 53.48%는 학습에 쓰지 않은 기간으로 따로 검증한 값이라 누적치보다 높습니다. 네 줄 전부 서로 다른 조건에서 잰 숫자라 위아래로 비교하면 안 됩니다.
맨 아랫줄 61.76%가 이 글에서 가장 조심해야 할 숫자입니다. 34경주 소급 작성분이고, 마감 배당을 본 상태에서 나온 값이고, 그 마감 배당보다 낮습니다.
8월 28일부터 무엇을 재는가
2026년 8월 28일 경주부터 마스터 판단이 라이브 AI 경마 예측으로 화면에 나가고 채점됩니다. 그날부터의 프로덕션 적중률은 마스터 기준 수치이고, 8월 27일까지의 모든 공개 수치는 통계 모델 기준입니다. 두 코호트를 이어 붙인 그래프는 만들지 않습니다.
같은 경주를 두 기준으로 동시에 채점하는 것은 그대로 가능합니다. 모델의 원래 점수가 말마다 남아 있어서, 라이브 경주 100건이 쌓이면 이번 34경주에서 못 한 판정을 오염 없이 할 수 있습니다. 이번에는 마스터가 마감 배당을 보고 썼지만 라이브 예측에는 그 정보가 없으므로, 라이브 쪽 숫자가 더 낮게 나올 가능성이 큽니다. 그 결과가 어느 쪽이든 수치 그대로 적중률 통계 페이지와 이 블로그에 올리겠습니다. 마스터 쪽이 밀리면 되돌리는 장치도 준비되어 있습니다.
원자료는 공공데이터포털의 한국마사회 경주 정보 API이고, 이 글의 모든 수치는 프로덕션 데이터베이스를 직접 조회해 다시 계산했습니다.
OddsCast는 한국 경마 AI 분석 서비스입니다. 사행성 도박이 아닌 KRA 공공데이터 기반 통계·정보 제공이 목적이며, 마권 구매는 KRA 공식 채널에서만 가능합니다.