적중, 누락, 오경보

신호는 곧 사기다

Hook Line에서 세계는 이분법적이고 화면은 받은 편지함입니다. 메시지는 하나씩 도착하며, 그 아래에는 두 개의 버튼이 놓여 있습니다. 사기라고 신고하는 “Flag scam”, 아니면 믿고 넘기는 “Trust it”입니다. 어중간한 판정도, ‘나중에 다시’도, 이의 제기도 없습니다. 받은 편지함 자체는 시드로 만들어지고 결정론적입니다. 주어진 시드와 레벨에 대해 메시지의 순서 있는 배열은 언제나 똑같습니다. 각 메시지는 두 가지 숨은 속성, 곧 그것이 사기인지 여부와 1에서 3까지의 척도로 매긴 교묘함의 정도를 지니는데, 둘 다 여러분에게는 보이지 않습니다. 첫 번째는 글만 보고 추론해야 합니다. 대신 게임은 나중에 알려 줍니다. 모든 판정 뒤에는 진실이 뒤따르고, 사기였다면 그것이 지니고 있던 위험 신호의 목록이 뒤따릅니다. ²

그 숨은 이분법이 바로 신호입니다. 신호는 곧 사기입니다. 나머지는 전부 잡음입니다. 여러분이 여태 읽어 온 다른 모든 것과 똑같아 보이는 정상 메시지의 잡음, 정상으로 보이려고 애쓰는 메시지의 잡음, 누가 왜 나에게 글을 쓰는지에 대한 여러분 자신의 가정이 내는 잡음. Hook Line의 설계는 뼈대가 단순하지만 그 압박은 의도된 것입니다. 여러분은 그저 읽고 있는 것이 아니라, 불확실성 속에서 분류하고 있습니다. 그리고 모든 분류는 네 개의 칸 가운데 하나에 떨어집니다.

그 네 칸은 단순한 채점표가 아니라 신호탐지이론의 어휘입니다. 사기를 신고하면 적중입니다. 사기를 믿어 버리면 누락입니다. 정상 메시지를 신고하면 오경보의 값을 치릅니다. ¹ 정상 메시지를 믿으면 정기각을 얻습니다. 이 게임의 성적표는 혼동 행렬이고, 여러분의 잔액은 어떤 잘못이 다른 잘못보다 더 아픈지를 가르치는 비용 함수입니다.

네 가지 결과를 쉬운 말로

실제 플레이에 나타나는 대로 네 가지 결과를 따라가 봅시다. 적중은 흐뭇한 클릭입니다. 정말로 사기인 메시지를 신고하면 게임이 계좌에 50을 넣어 줍니다. 유능하다는 느낌이 듭니다. 누락은 더 날카롭습니다. 사기를 믿으면 게임이 200을 깎습니다. 그것이 가장 큰 것입니다. 매 판을 1000으로 시작하므로 한 번의 누락은 시작 잔액의 5분의 1을 앗아 가고, 누적 합계가 0 아래로 내려가는 것을 막아 주는 장치도 없습니다. 순위표에 오르는 대표 점수만 0에서 바닥을 칠 뿐입니다. 이 비대칭은 의도된 것입니다. 사기를 믿는 일은 정상 메시지를 신고하는 일보다 훨씬 비싸고, 게임은 여러분이 그 차이를 잔액으로 느끼기를 바랍니다. ²

오경보는 조심의 대가입니다. 정상 메시지를 신고하면 게임이 60을 깎습니다. 사기를 믿는 것보다는 작은 벌이지만 그래도 따끔합니다. 잔액을 통째로 잃은 것은 아니지만, 올리지 말았어야 할 깃발을 올려 시간과 호의를 축낸 것입니다. 정기각은 조용한 승리입니다. 정상 메시지를 믿으면 똑같이 50을 챙깁니다. 적중만큼 극적이지는 않지만, 좋은 판단이 꾸준히 쌓이는 일입니다. ²

이것들을 신호탐지이론의 용어에 대응시키면 그 짝은 정확히 들어맞습니다. 사기를 신고 → 적중. 사기를 신뢰 → 누락. 정상 메시지를 신고 → 오경보. 정상 메시지를 신뢰 → 정기각. 네 가지 결과는 단순한 이름표가 아닙니다. 여러분이 서로 다른 두 가지 방식으로 ‘옳을’ 수 있고, 마찬가지로 서로 다른 두 가지 방식으로 틀릴 수도 있음을 가르치는 게임의 방식입니다. 적중과 오경보의 차이는 여러분이 신고했는지가 아니라 신호가 거기 있었는지에 있습니다. 누락과 정기각의 차이는 여러분이 신뢰했는지가 아니라 신호가 없었는지에 있습니다. ¹

민감도: 차이를 알아볼 수 있는가?

신호탐지이론은 능력과 성향을 갈라놓습니다. 신호와 잡음을 구별해 내는 능력이 여러분의 민감도이며, 흔히 d′(디프라임)로 지표화됩니다. Hook Line에서 민감도는 메시지를 읽고 숨은 진실을 우연보다 더 잘 추론해 내는 역량입니다. 숨은 이름표를 볼 수 있다면 민감도는 하찮은 문제가 될 것입니다. 하지만 볼 수 없습니다. 여러분은 글에 기대야 합니다. 도메인 이름, 다급함, 인사말, 요구, 링크에 말입니다. 게임의 목록은 모든 메시지의 교묘함을 3점 척도로 매겨 두었습니다. 1은 빤한 것, 3은 교묘한 것이며, 매겨진 값이 높을수록 단서는 희미해지고 평범함의 잡음에 맞선 신호는 약해집니다. ²

레벨 체계가 파고드는 지점이 바로 거기입니다. 한 판에는 메시지 네 개에 레벨 수를 더한 만큼이 담기고 상한은 열이며, 최소 교묘함은 여러분과 함께 올라갑니다. 레벨 1과 2에서는 1, 레벨 3부터는 2, 레벨 5부터는 3입니다. 그래서 받은 편지함은 다섯 통에서 열 통까지 불어난 뒤 거기 머무는 한편, 그 밑에서는 교묘함의 바닥이 올라갑니다. 레벨 5부터는 눈앞의 모든 메시지가 교묘함 3의 무리에서 뽑힌, 읽어 내기 어려운 것들이며, 다섯 통이 아니라 아홉 통을, 레벨 6부터는 열 통을 헤쳐 나가야 합니다. 그리고 여러분은 받은 편지함을 깨끗하게 비워야만 올라갑니다. 다음 레벨로 가는 버튼은 사기를 하나도 믿지 않고 진짜 메시지를 하나도 신고하지 않은 채 끝냈을 때에만 나타납니다. 같은 시드와 레벨은 언제나 같은 순서의 받은 편지함을 다시 세웁니다. 여러분의 민감도는 고정된 것이 아닙니다. 환경이 거기에 세금을 물립니다. ²

민감도가 여러분이 얼마나 많은 메시지를 신고하는지에 관한 것이 아님에 유의하십시오. 그것은 두 모집단을 얼마나 잘 구별하는가에 관한 것입니다. 전부 신고하면 많은 사기를 잡아내겠지만(높은 적중률) 정상 메시지도 많이 신고하게 됩니다(높은 오경보율). 여러분의 d′는 여전히 낮을 수 있는데, 실제로 분포를 갈라놓고 있는 것이 아니라 그저 한쪽을 골라 놓고 요행을 바라고 있기 때문입니다. 게임에서 가팔라지는 교묘함은 바로 이 점을 정면으로 공격합니다. 분포는 더 많이 겹치고, 어림짐작의 대가는 더 커집니다. ¹

편향: 어디에 선을 그을 것인가?

민감도가 고정되어 있다고 해 봅시다. 그래도 어디에 선을 긋느냐를 바꾸면 점수를 바꿀 수 있습니다. 그것이 편향, 곧 판단 준거입니다. 한 반응이 다른 반응보다 얼마나 더 일어나기 쉬운가 하는 정도이지요. Hook Line에서 준거는 읽기를 멈추고 신뢰나 신고를 클릭하게 되는 내적 문턱입니다. 조심스러운 플레이어는 어떤 메시지를 믿기 전에 그것이 진짜라는 강한 증거를 원하므로 거리낌 없이 신고하고, 잘 믿는 플레이어는 더 적은 것을 요구하며 더 일찍 신뢰를 누릅니다. 게임의 비대칭적인 벌점은 분별 있는 준거를 조심 쪽으로 밀어붙입니다. ¹

왜일까요? 사기를 믿으면 200이 드는 반면 정상 메시지를 신고하면 60밖에 들지 않기 때문입니다. 누락은 오경보보다 세 배 넘게 비쌉니다. 확신이 서지 않는다면 합리적인 수는 신고 쪽으로 기우는 것입니다. 숫자를 얹어 봅시다. 신고는 맞으면 +50, 틀리면 −60이고 신뢰는 맞으면 +50, 틀리면 −200입니다. 따라서 그 메시지가 사기일 확률이 약 31퍼센트, 대략 열에 셋보다 높다고 믿는 순간부터 신고가 더 나은 내기가 됩니다. 그것이 ‘후회하느니 조심하는 편이 낫다’는 준거이며, 게임의 비용 구조 아래에서 기대 손실을 최소화하는 준거입니다. 게임은 이것을 대놓고 말해 주지 않습니다. 잔액으로 느끼게 할 뿐입니다. 신고할 때보다 신뢰할 때 더 빨리 잃게 될 것이고, 그 느낌이 곧 준거를 어디에 놓을지에 대한 교훈입니다. ²

편향은 민감도와 무관합니다. 조심스러우면서도 민감도가 나쁠 수 있습니다. 자주 신고하니 빠져나가는 것은 적지만, 구별해 내지 못한 진짜 메시지에 60씩 거듭 태우게 됩니다. 잘 믿으면서도 민감도가 좋을 수 있습니다. 오경보는 거의 울리지 않지만, 읽어 내지 못한 사기 하나하나가 200씩 듭니다. 게임의 설계는 이 맞바꿈을 눈에 보이게 만듭니다. 같은 메시지, 다른 준거, 다른 결과. 네 가지 결과는 단순한 결과가 아니라 여러분의 전략을 진단하는 도구입니다. ¹

게임판으로서의 혼동 행렬

네 가지 결과를 2×2 표의 칸으로 생각해 보십시오. 한 축에는 진실이 있습니다. 사기인가 정상인가. 다른 축에는 여러분의 판정이 있습니다. 신고인가 신뢰인가. 칸을 채우면 혼동 행렬이 만들어집니다. 사기를 신고 → 적중. 사기를 신뢰 → 누락. 정상을 신고 → 오경보. 정상을 신뢰 → 정기각. 게임은 이 표를 실시간으로 보여 주지 않으며, 판이 끝난 뒤의 요약도 절반만 채웁니다. 두 종류의 잘못, 곧 믿어 버린 사기와 신고한 진짜 메시지는 따로 알려 주지만, 적중과 정기각은 올바른 선별이라는 하나의 수로 뭉뚱그립니다. 행렬 전체가 자취를 남기는 곳은 잔액입니다. 클릭할 때마다 그 칸에 적힌 수만큼 잔액이 움직입니다. ²

게임이 보는 대로의 표는 이렇습니다.

이것은 추상적인 이야기가 아닙니다. 여러분의 화면입니다. 클릭할 때마다 여러분은 한 칸에 떨어집니다. 게임의 점수 체계는 그 행렬이 의미를 갖게 만드는 비용 함수입니다. 200 대 60이라는 비대칭은 합리적인 준거를 조심 쪽으로 기울입니다. 레벨 체계와 교묘함 값은 환경을 여러분의 민감도에 불리하게 기울입니다. 여러분은 압박 속에서 최적화하고 있습니다. 레벨 1에서 좋았던 준거 선택이 레벨 5에서는 통하지 않을 수 있는데, 분포가 더 많이 겹쳐 버렸기 때문입니다. ²

그리고 그것이 선별의 핵심입니다. 여러분은 그저 읽고 있는 것이 아니라, 실제 비용이 따르는 분류기를 운용하고 있습니다. 게임은 영리하다고 해서 보상해 주지 않습니다. 잘 보정되어 있다고 보상해 줍니다. 네 가지 결과는 여러분이 스스로를 보정할 수 있게 해 주는 되먹임입니다.

통제된 환경으로서의 엔진

Hook Line의 규칙 층은 순수하고 결정론적입니다. 게임이 직접 추린 목록에서 시드를 받은 받은 편지함을 꾸리고, 1000/200/60/50 규칙으로 여러분의 판정에 점수를 매기며, 레벨에 따라 판의 크기를 키우고, 올라갈수록 최소 교묘함을 높입니다. 시계도 없고 시드를 받은 의사난수 생성기 말고는 무작위성도 없어서, 같은 시드와 레벨은 언제나 같은 순서의 받은 편지함을 만들어 냅니다. 시계는 그 바깥에 있습니다. 한 판은 60초를 주고, 시간이 0에 이를 때까지 선별되지 않은 것은 신뢰한 것으로 처리됩니다. 결국 답하는 세 번째 방법이 있는 셈인데, 곧 아무 말도 하지 않는 것이며, 그것이 가장 비쌉니다. 받은 편지함에 남겨 둔 사기 하나하나가 그때 여러분에게 200씩 물리기 때문입니다. 이것은 업데이트나 광고가 딸린 플랫폼이 아닙니다. 선별을 연습하기 위한 통제된 환경입니다. ²

네 가지 결과의 대응을 의미 있게 만드는 것이 바로 그 통제입니다. 환경이 재현 가능하기 때문에 똑같은 조건에서 여러분의 준거가 결과를 어떻게 바꾸는지 볼 수 있습니다. 교묘함이 가팔라지기 때문에 민감도에 어떻게 세금이 매겨지는지 느낄 수 있습니다. 벌점이 비대칭이기 때문에 준거가 어느 쪽으로 기울어야 하는지 느낄 수 있습니다. 이 엔진은 눈속임이 아닙니다. 실험실입니다.

그 실험실에서 메시지는 신호이고, 받은 편지함은 잡음이며, 여러분의 판단은 분류기입니다. 네 가지 결과는 단순한 이름표가 아니라 지도입니다. 적중, 누락, 오경보, 정기각. 하나하나가 여러분의 능력과 성향에 대해 무언가를 말해 줍니다. 그리고 하나하나가 이 게임이 옳으냐 그르냐의 문제가 아니라 옳은 방식으로, 옳은 비용에 옳으냐의 문제임을 가르쳐 줍니다. ¹