[서평] 대량살상수학무기 ★★★★☆

[ 읽게 된 동기 ]

STEW IT분야를 담당하는 내가 선정한, 2018년 2월 STEW 독서소모임 선정도서.
페친들의 극찬을 보며 선정.
 

[ 한줄평 ]

애써 보고싶지 않은 눈 앞의 우울함. 그리고 몰려오는 부끄러움.
 

[ 서평 ]

내가 선택한 도서다.
STEW 독서소모임에서는 올해부터 연 6회의 책을 읽고, 토론하기로 했다. 올해 첫번째 발제자로 내가 나섰고, IT 분야의 책을 세 권 올려 친구들에게 선택하도록 했다. 나는 이 책을 [데이터 + 윤리] 라는 타이틀로 소개했고, 세 권의 책 중 가장 많은 선택을 받았다.
 
안드로이드 개발자로 6년간 일했고, 이번 달 커리어를 변경하며 바쁜 시간을 보냈다. 때문에 발제자인 나는 점점 압박을 받기 시작했다. 아직 책을 안읽었기에, 책을 읽어야 하는 부담감 그리고 서평. 여기에 토론을 위한 발제문까지, 꼬박 토, 일 이틀을 소비하고 일요일 밤 8시가 되서야 책을 다 읽었다. 그리고 뒤늦게 서평을 쓰기 시작한다.
주말 내내 집에 틀어박혀 이 책을 읽은 것 만으로도 우울한데, 책 전체의 분위기 또한 너무도 무겁고, 우울하여 현재 내 감정은 무척 어둡다. 마치 지난 주 체감온도처럼 ‘뭐지?!’ 싶을 정도로 우울하다.
 
특히, 책의 절반을 읽었던 시점의 내 생각이 책 말미에 달하며 와르르 무너졌기에 더욱 그렇다. 책의 절반까지는 냉소를 머금고 ‘뭐야, 다 아는 내용인데? 그래서 결론이 뭔데?’ 라며 읽었고, 말미에 가서는 내 생각이 무척이나 부끄러워졌다.
과연 저자 ‘캐시 오닐’ 은 무슨 이야기를 했을까?
 

WMD, 이봐 당신은 이미 피할 수 없다고!

저자는 매우 다양한 분야의 WMD(Weapons of Math Destruction, 대량살상수학무기) 에 대해서 이야기 한다. 아니, 이 무기는 적용력이 막강하여 데이터가 제공되는 모든 분야에 공격이 가능하다.
데이터가 적용되는 대표 주자인 금융은 물론, 학교, 범죄, 비즈니스, 보건 등. 인류의 치명적인 부분에 있어 대량살상수학무기는 서서히 사정권을 좁혀오고 있다. 대체적으로 수치화할 수 없는 것을 수치화 하면서 생기는 일들인데, 가령 교사의 가르침을 정량적으로 평가하는데서 오는 괴리감 등이다.
과연 좋은 교사란 어떤 숫자로 표현해야 할까? 학생들의 만족도? 학부모의 만족도? 학생들의 성적? 혹은 교사의 논문? 저술 활동? 그렇다. 아무리 숫자여도 이는 매우 주관적일 수 있고, 결코 어느 한 지표로 교사의 자질을 평가할 수는 없다. 캐시 오닐은 교사의 자질을 학생들의 성적 등으로 평가하여 생긴 문제점들을 가지고 포문을 연다.
 
교사가 어렵다면, 쉽게 자신의 상사나 아래 직원을 평가하는 지표를 생각해보자.
과연 어떤 상사가 좋은 상사인가? 나에게 친절하지만, 부서 평가를 최하로 받아 보스에게 부서가 찍혀 늘 스스로도 최하 점을 받는다고 하자. 이는 좋은 상사인가? 반대로 보스에게 늘 좋은 평가를 받는 상사라 우리 부서가 늘 성과급을 최대로 받는다고 하자. 근데, 내게 인격적으로 공격을 해댄다고 하면 과연 그는 좋은 상사인가? 이러한 극단적인 상황을 피해서도 어떤 지표를 만드는 것에 대해선 리스크가 있다. 세상은 그리 단순하지 않고, 결코 세상의 모든 것을 수치화 하여 일렬로 세울 수는 없는 법이다.
이토록 리스크가 큰 일인데, 도대체 왜 수학자들은 데이터 과학자들은 통계학자들은 이런 작업을 계속 하는 것일까?
결국은 더 나은 세상을 위해서가 아닐까?
 

2008년 금융시장이 붕괴했을 때, 나는 더 이상 불편한 진실을 모른 척할 수 없었다. 누군가의 계좌에서 눈먼 돈을 야금야금 훔치는 짓거리보다 더 나빴던 것은, 금융 산업이 WMD를 키우는 온상이며, 내가 거기에서 작은 역할이나마 일조하고 있다는 사실이었다.

 
저자는 퀀트로 일하며 2008년 세계금융위기를 경험했다.
나는 그 시기에 군인이기도 했고, 경제에 무지하여 그게 얼마나 큰 일인지 잘 몰랐다. 하지만, 세계적으로 가장 큰 사건 중 하나였던 그 소용돌이의 중심에 있던 저자는 그것을 계기로 큰 결심을 하게 된 것이다.
 

다시 말해, 수학은 쓰레기 같은 대출채권의 가치를 몇 배로 부풀릴 수는 있으나 그것을 해석할 능력은 없었다. 해석은 순전히 인간의 몫이었다.

 
그렇게 수학에 대한 환멸을 느끼고, 스스로의 업에 대해 좌절감을 맛본 뒤 저자는 수학을 보다 잘 사용하기 위한 노력을 시작한다.
이 책은 저자의 수학에 대한 도전의 이야기이며, 자신이 보고 느낀 것을 공유하고자 하는 보고서이자, 동참해줄 것을 요청하는 신호다. 하지만 나는 저자의 모든 주장에 공감할 수는 없었다. 아마도 저자가 힘든 싸움을 하고 있는 이유 중 하나가 아닐까 싶다.
 
 

상아탑의 꼬마 아이.

2016년과 2017년. 2년간 나는 스타트업 대표로써 일했다.
개발자로써 4년을 살아온 내게 비즈니스의 세계는 불친절했다. 나는 바로 실전에 투입되었고, 아군은 커녕 누가 적군인지도 몰랐다. 모두가 적군이라는 것을 깨달았을 땐 이미 내 뒤에 칼이 꽂히고 있었다.
 
비록 2년의 짦은 시간이지만, 결국 수익을 내지 못한채 실패했지만, 저자가 가지지 못한 경험인 것은 분명하다.
스타트업 대표자의 입장에서 봤을 땐, 저자의 주장은 너무도 여리고, 희망적이다.
 

일정 관리 소프트웨어는 기업들이 비용을 절감하도록 설계되기 때문에, 노동자들의 근무 시간을 주 30시간 미만으로 제한한다. 그 결과, 노동자들은 근무 시간이 주 30시간 이상일 경우에 주어지는 직장건강보험에 가입할 자격을 얻지 못하게 된다. 설상가상으로 혼란스러운 일정 때문에 대부분의 노동자이 부업을 할 수도 없다.

 
규제의 구멍을 활용해 이익을 도모하는 하이에나들은 언제나 있게 마련이다. 이를 두고 ‘구더기 무서워 장 못담근다’ 등의 속담을 사용하는게 아닌가? 저자의 논리는 대부분 이런식이다. A의 문제가 생기니까 WMD 는 나쁘다. B의 문제가 생기니까 WMD 는 나쁘다. 이는 마치 ‘오늘은 추워서 지각 합니다~ 오늘은 갑자기 배가 아파서요~ 오늘은 갑자기 차가 막히네요~’ 라며 매일 같이 지각하는 철 없는 사원의 불평불만처럼 느껴졌다.
또한, 저자는 대부분의 문제점을 이런식으로 짚어낸다. 문제점 제시가 끝이라는 말이다. 이에 따른 대안은 없다. 이건 마치 잘못을 저지른 학생에게 가서 ‘너 잘못했어! 그러면 안돼!’ 라고 외치는 교생실습 나온 대학생의 모습 같다. 이게 왜 잘못 되었는지, 이로 인해 누가 피해를 보는지 등을 외치는 것 또한 초보자다. 과연 이걸 모르고 비즈니스를 시작했을까? 비즈니스는 철저히 계산적이라 이미 다 안다. 다만, 이로 인한 리스크보다 이익이 더 크기 때문에 비즈니스를 계속하는 것이다.
나쁘다고? 그래, 그렇게 말해봐라 아마 비즈니스 담당자는 이렇게 대답 할 것이다.
“법적으로 문제 없는데?”
 

불심검문 같은 정책을 지지하는 사람들은 불심검문을 직접 당해보아야 한다. 정의는 사회의 한 부분이 다른 부분에 가하는 것이 되어서는 절대 안 된다.

 
이러한 도덕책은 사회에서 먹히지 않는다. 분명히 사회생활을 많이 한 사람인데, 어떻게 이런 어리광을 줄줄이 적어놨는지 모르겠다. 내가 저자의 이야기를 못알아듣는게 아니다. 당연히 잘못 된 내용이고, 개선 되어야만 하는 부분이다. 다만, 개선을 요하는 방식이 너무도 구식이다. ‘너 잘못했어! 그러면 안돼!’ 과연 이렇게 말했을 때 ‘아, 내가 잘못했구나! 그러면 안되지!’ 라고 생각하는 사람이 어디 있을까? 하물며, 그것을 미리 다 계산에 넣은 사람들인데 말이다.
다시 말하지만 결코 규제의 틈을 찾아 악용하는 사람들을 옹호하는 것이 아니다. 나 또한 스타트업을 하며 더러운 꼴을 봐왔다. 하지만 눈 앞에서, 뒷통수에서 총알이 날아드는 상황에선 ‘저 사람이 아군을 쐈어요!’ 라고 말하는 것 따위는 내 목숨에 결코 도움이 되지 않는다.
 
분명 중요한 문제점에 대해서 짚어내고, 이에 따른 논문 등을 활용해 팩트체크를 한다. 저자는 분명 문제점들에 대해 연구하고, 학술적으로 풀어내는 부분에서는 능력이 출중했다. 하지만 쉽게 말해 ‘주먹은 법보다 가까이 있다’ 는 비즈니스 세계에선 그저 ‘상아탑의 어린아이’ 같은 모습이었다.
나는 고작 7년차의 사회인이지만, 늘 새로움에 나를 던져온 사람으로써 저자의 주장은 그저 ‘아, 몰라! 그거 불편하니까 바꿔줘!’ 라고 어리광 부리는 아이 같이 보였다.
 
 

상아탑 꼬마 아이의 진심.

저자가 몸 담았던 금융에서 시작해, 교육, 범죄를 지나 정치까지. 저자의 불만은 세상 모든 것을 향했다.
나는 대안 없는 불만을 무척 싫어한다. 나아가, 대안 없는 불만을 토로하며 스스로는 결코 바뀔 의지가 없는 사람을 혐오한다. 내가 가장 기피하는 대상이며, 결코 가까이 하고 싶지 않다. 왠지 나 또한 그렇게 되는 것 같아 무섭다.
 
반복되는 대안 없는 불만 속에서. 정확히는 ‘그들은 바뀌어야 한다’ 라고만 말하는 저자의 주장 속에서 나는 굉장히 지쳐갔다. 마치 불만 투성이의 사람이 나와 단 둘이 술을 마시며 세상에 대한 넋두리를 맘껏 늘어놓는 것 같았다. 소주를 10병 정도 마시면서 말이다.
 

장거리 출퇴근자는 이탈 가능성이 높았다. 장거리 출퇴근은 누구에게나 힘든 일이기 때문이다. 제록스는 이탈과 관련 있는 다른 상관성도 발견했다. 장거리 출퇴근으로 힘들어하는 직원 상당수가 가난한 지역에 거주하고 있었던 것이다. 제록스는 이 문제에 어떻게 대처했을까? 기특하게도 이탈과 상관성이 매우 높은 몇몇 조건을 채용 모형에서 제외시켰다. 요컨대, 제록스는 공정성을 위해 효율성을 약간 희생시켰다.

 
저자는 효율성을 희생시키는 기업을 보며 ‘기특하다’ 고 했다.
이게 왜 기특한가? 자신의 이익을 버리고 세상을 위해서? 기업 입장에서는 주어진 자원으로 최고의 효율을 내는 것이 당연한 것인데, 나 또한 서민이지만 아무런 대책 없이 기득권층의 희생만을 강요하는 것은 저자가 말하는 ‘피해’ 에 속한다.
 

공정성이라는 개념도 마찬가지다. 이런 개념은 컴퓨터의 그물망을 미꾸라지처럼 잘도 빠져나간다. 프로그램 개발자들은 공정성을 어떻게 코드화할지 알지 못한다. 사실 그들에게 그렇게 하라고 지시하는 상사도 거의 없다.

 
공정성의 개념은 코드화 하지 못하는 것을 알면서도, 현재의 시도에 대해서 무조건 반대다. 경찰 인력은 무조건 확대할 수 없음을 너무도 잘 알 것이다. 이는 비용이고, 비용은 세금이며 결국 시민들의 주머니에서 나온다. 이를 개선하기 위한 시도들을 반대하지만, 대안은 없다.
도대체가 모든 챕터에 걸쳐 이런식이다. 이틀간 이 책을 읽으며 무척이나 지쳐갔고, 도대체 어떤 결론을 내는지 팔짱끼고 잔뜩 거들먹거리며 지켜봤다.
그리고 나는 다음 한 문장에서 저자의 진심을 느꼈다.
 

WMD와는 정반대로 사회에 도움이 되는 수학 모형을 개발하는 일에 관심이 있었던 나는, 뉴욕의 주택 및 복지사업부Housing and Human Services Department 산하 데이터분석팀에서 무급 인턴으로 일하기로 했다.

 
수학과 교수, 퀀트, 스타트업의 데이터과학자.
사회적 인지도는 물론, 유망한 직종까지 섭렵하며 주가를 올렸던 저자가 무급 인턴으로 일한다? 이는 마치 올해 새로운 커리어를 시작한 스스로의 모습과 오버랩 되며 그간 저자의 주장들이 달리보이기 시작했다.
그렇다. 저자는 말 뿐인 사람이 아니었던 것이다.
 
 

인간적인 가치

저자가 인턴으로 일하며, 실제 이에 대항했음을 알게 되자 무척이나 부끄러워졌다.
저자만큼은 아니지만, 나 또한 이 바닥의 문제점은 인지하고 있었다. 고작 두, 세 명의 부하 직원만 생겨도 얼굴을 바꾸는게 사람이다. 하물며 수천 만, 수억 명의 데이터를 손에 쥐고 그들의 인생을 흔든다? 어째서 이 문제가 가볍겠는가? 다만, 내 코가 석자라. 대안이 없어서. 그저 잠자코 있던게 나다.
다시 생각해본다. 해결하지 못할 것 같다며, 대안이 없다며 문제에 순응하는게 옳은가? 그럼에도 문제라고 외치는게 옳은가?
 

경제학자들이 스모그나 농지 유출수, 점박이올빼미의 멸종에 따른 비용을 계산하려고 노력해도, 숫자 자체는 절대로 그런 것의 가치를 표현할 수 없다. 수학 모형의 공정성과 공익에도 똑같은 원리가 적용되야 한다.

 
저자는 엘리트다.
무척이나 명석한 두뇌를 가지고 있고, 교수며 퀀트 그리고 데이터 과학자까지 자신의 모습을 바꾸며 살아남았다. 충분히 만족할 수 있는 사회적 지위를 얻었음에도, 약자를 위해 싸우며 자신의 능력을 쓴다.
과연 나는 교수가 된다면, 퀀트가 된다면, 데이터 과학자가 된다면 내가 본 문제점을 문제라고 말할 수 있을까?
아니, 나는 그동안 일하며 그래 왔는가?
 

경제학자들이 스모그나 농지 유출수, 점박이올빼미의 멸종에 따른 비용을 계산하려고 노력해도, 숫자 자체는 절대로 그런 것의 가치를 표현할 수 없다. 수학 모형의 공정성과 공익에도 똑같은 원리가 적용되야 한다.

 
개발자로 일하며 엑셀에 M/M(Man of Month) 를 입력하고 스케쥴링 하던 관리자들이 생각난다. 관리 측면에서 효율을 가져가기 위해 숫자로써 표현한 것을 이해했지만, 스스로가 단지 숫자 ‘1’ 로 적혀 있음을 인지한 뒤의 허탈감 또한 기억난다.
‘글쓰는 감성개발자’ 라는 닉네임을 만들며, 스스로가 무심해지지 않겠다 다짐했다. 늘 책을 읽고, 동료와 공감하겠다 생각했다. 헌데, 저자의 도전을 보며 어쩌면 무책임한 행동을 보인건 저자가 아닌 스스로였음을 깨달았다.
7년째 사회인으로 살아남아있다 생각했는데, 그래서 나는 지난 6년간 사회에 어떤 가치를 부여 했을까? 나는 어떤 기여를 했을까? 나는 사회에 필요한 일을 한 것일까? 나는 사회에 필요한 사람일까?
 

그러나 효율성을 희생시키는 한이 있더라도 알고리즘에 인간적인 가치를 반영할 필요가 있다.

 
같잖은 경험으로 타인의 진심을 무시했다. 별 얘기 아니라며, 눈에 보이지 않는 상대를 조롱했다.
새로운 커리어를 시작하며, ‘우선 살아남자!’ 라고 다짐했다. 헌데, 기왕이면 세상에 도움이 되는 사람으로 살아남고 싶어졌다.
 
과연 6년 전 나는 세상에 어떤 사람이 되고 싶었을까? 인간적인 가치를 지키려는 저자를 보며, 과연 지금의 나는 어떤 가치를 지키려 세상에 살아남기 위한 사투를 벌이는지 생각해본다. 솔직히, 없었던 것 같다.
스스로 참 순수함을 잘 지켜왔다고 생각했는데, 상아탑의 꼬마 아이 ‘캐시 오닐’ 에 비하면 난 이미 아재가 아닐지 싶다.
 
개발자로 일할 땐 그저 ‘한 사람 몫’ 을 해내기 바빴던 것 같다. 한 사람 몫을 한 뒤엔, 내 자리를 확고히 하는데 급급했다.
새로운 커리어에서는 내 자리를 지키는 것 외에도, 세상에 어떤 가치를 만들 지에 대해 고민해봐야겠다.
 
고작 엑셀 위의 숫자 따위로 내가 정의될 순 없으니까 말이다.
 
 

[ 인상 깊은 문구 ]

• 매스매티카의 평가 시스템이 와이사키와 205명의 교사들에게 실패자라는 꼬리표를 붙이자 워싱턴 교육 당국은 그들을 모두 해고했다. 그런데 이 평가 시스템에는 이 같은 결정이 옳은지에 대해 사후에 학습하는 과정이 있을까? 없다. 시스템이 교사들을 실패자라고 확신하면, 평가는 그것으로 끝이다.
• 통계 시스템에서 양만큼 필수적인 것이 있다. 바로 피드백이다. 피드백은 시스템이 정상 항로에서 벗어날 경우, 이를 알려주는 장치다. 통계 전문가들은 피드백을 통해 받은 오류를 토대로 모형을 개선해 더욱 완벽하게 만든다.
• 하지만 대개의 경우, WMD를 운영하는 사람들은 자신들의 실수에 무감각하다. 그들의 피드백은 돈이다. 돈은 매우 강력한 유인책이다. 그들의 시스템은 더 많은 돈을 벌기 위해 더 많은 데이터를 신속하게 처리하고, 애널리틱스analytics를 미세조정하도록 설계된다. 이런 이득으로 배를 불린 투자자들은 당연히 WMD 업체들에 더 많은 돈을 쏟아붓게 된다.
• 2루타는 1루타보다 얼마나 더 가치 있을까? 번트를 시도해서라도 1루 주자를 2루로 진루시키는 것이 더 유리한 상황은 언제일까? 이런 모든 질문에 대한 답들이 뒤섞이고 결합되어 야구에 대한 수학 모형이 만들어진다.
• 솔직히 우리 모두는 별로 깊이 생각하지 않고 자연스럽게 이렇게 행동한다. 어떤 데이터를 수집할지부터 무엇을 질문할지까지, 우리 자신의 가치관과 바람은 우리의 선택에 영향을 미친다. 요컨대, 모형들은 수학에 깊이 뿌리내린 지극히 개인적인 의견이라고 할 수 있다.
• 인종차별 모형은 무계획적인 데이터 수집과 허위상관spurious correlation에 의해 작동하고, 제도적 불공평institutional inequity에 의해 강화되며, 확증편향confirmation bias에 의해 오염된다. 인종차별은 이런 방식을 통해 이 책에서 소개하는 WMD들과 비슷하게 기능한다.
• 미국시민자유연맹American Civil Liberties Union, ACLU은 흑인들에게 선고된 형량이 비슷한 범죄를 저지른 백인 범죄자들보다 20% 정도 더 길다고 주장했다.7 이런 점에서 볼 때 미국 전체 인구에서 흑인의 비율이 겨우 13%에 불과하지만 전체 교도소 수감자 중 40%가 흑인이라는 사실은 시사하는 바가 크다.
• 야외 음악회에 입장할 때 안내원이 맨 앞에서 열 번째 줄까지는 앉을 수 없다고 말하면, 당신은 그것을 불합리한 처사라고 생각할 것이다. 그러나 맨 앞에서 열 번째 줄까지는 휠체어를 이용하는 장애인들을 위한 자리라는 설명을 듣는다면, 이야기가 달라진다. 이렇듯 모형에서 투명성은 중요하다.
• 지금까지 WMD의 세 가지 요소를 알아보았다. 바로 불투명성, 확장성, 피해다.
• 2008년 금융시장이 붕괴했을 때, 나는 더 이상 불편한 진실을 모른 척할 수 없었다. 누군가의 계좌에서 눈먼 돈을 야금야금 훔치는 짓거리보다 더 나빴던 것은, 금융 산업이 WMD를 키우는 온상이며, 내가 거기에서 작은 역할이나마 일조하고 있다는 사실이었다.
• 요컨대 이들은 경기와 관련된 다양한 움직임에 베팅하지 경기 결과 자체에 베팅하지는 않는다. 헤지펀드의 투자도 이와 비슷하다. 이런 이유로 디이 쇼의 직원들은 금융 위기가 닥치더라도 회사가 안전할 거라고, 최소한 다른 회사들보다는 안전할 거라고 믿었다.
• 시장의 불안이 계속되자 사내 분위기도 초조해졌다. 숫자와 계산에 관한 한, 우리는 그 누구보다 잘할 자신이 있었다. 그러나 만약 수평선 위로 고개를 내미는 무시무시한 내일이 어제의 그 어떤 날과도 다르다면 어떻게 해야 할까? 미래가 과거의 모든 것과 완전히 다른 새로운 세상이라면 어떻게 해야 할까?
• 수학의 목적은 오직 판매자의 단기이익을 최적화하는 데 있었다.
• 다시 말해, 수학은 쓰레기 같은 대출채권의 가치를 몇 배로 부풀릴 수는 있으나 그것을 해석할 능력은 없었다. 해석은 순전히 인간의 몫이었다.
• 이제까지 숫자와 스프레드시트와 위험 점수에 가려져 눈에 보이지 않던 인간의 고통이 만천하에 드러났다.
• 사람들은 무언가를 명확히 정의하기보다는 강렬한 인상을 주기 위해 수학 공식들을 의도적으로 이용했다. 그 같은 파괴적인 개념과 직접 마주한 것은 내 인생에서 그때가 처음이었다. 나는 불편한 상황에서 벗어나 시계를 거꾸로 돌려 수학 이론에 대한 증명과 루빅큐브가 전부였던 과거로 돌아가고 싶었다.
• 2008년 금융 지각을 뒤흔든 대재앙이 발생한 이후에도 거대 은행의 이 같은 태도에는 변화가 없었다. 그 이유를 이해하는 것은 그다지 어렵지 않다. 대마불사大馬不死를 이유로 금융계 전체를 휩쓴 대재앙에서도 꿋꿋이 살아남은 마당에, 이제 와서 새삼 자사 포트폴리오에 포함된 위험 때문에 불안해할 이유가 있을까?
• 트레이더의 능력은 각자 운영하는 포트폴리오의 총위험으로 포트폴리오의 투자수익을 나눈 값인 샤프지수Sharpe ration로 평가된다.
• 결과적으로 볼 때 통계 작업을 해야 된다는 것은 헤지펀드나 e커머스나 별반 다르지 않았다. 차이가 있다면 헤지펀드는 시장의 움직임을 예측하는 반면 e커머스는 사람들의 클릭을 예측한다는 것 정도였다.
• 어느 순간, 나는 데이터과학 분야에서도 예전에 금융계에서 목격했던 것과 똑같은 패턴이 나타나고 있음을 깨달았다. 안전하다는 착각에 사로잡혀 불완전한 모형을 광범하게 사용하고, 성공을 자기중심적으로 정의하며, 차별적 피드백 루프가 갈수록 강력해지고 있었다.
• 그들에게는 4년의 대학 과정이 수천만 명의 학생은 고사하고 학생 한 명에게 어떤 영향을 미치는지조차 정량화할 수 있는 직접적인 방법이 없었다. 다시 말해 배움, 행복, 자신감, 우정 등등 학생 각자가 대학에서 4년간 경험하는 다양한 측면을 객관적으로 측정하기란 불가능했다.
• 그러나 순위가 전국적인 표준으로 확장됨에 따라 부정적인 피드백 루프가 활성화되기 시작했다. 문제는 대학 순위가 자기 강화적인 특징을 갖는다는 점이었다. 가령 <유에스 뉴스>에서 낮은 순위를 받으면 대학의 평판이 손상되고 전반적인 여건이 악화됐다. 우수한 학생들과 훌륭한 교수들이 해당 대학을 기피하고, 동문들은 노골적으로 불만을 드러내면서 기부금을 줄였다. 그러다 보면 다음해 해당 대학의 순위는 더욱더 떨어졌다. 요컨대 <유에스 뉴스>의 순위는 대학의 운명을 좌지우지할 수도 있게 됐다.
• 그래서 <유에스 뉴스>는 교육의 우수성과 상관성 있는 것처럼 보이는 대리 데이터를 사용하기로 했다.
• <유에스 뉴스> 직원들은 물론이고 독자들의 머릿속에 이미 깊이 뿌리내린 비공식적 모형들을 그대로 반영해 하버드, 스탠퍼드, 프린스턴, 예일이 상위에 이름을 올린다면 모형의 타당성을 입증하는 것처럼 보였을 것이다. 이런 시각에서 볼 때 모형을 개발하기 위해 <유에스 뉴스>가 어떤 일을 했을지 자명해진다.
• 대표적인 사례로 교육컨설팅업체인 노엘–레비츠Noel-Levitz가 제공하는 포캐스트플러스ForecastPlus라는 예측분석 패키지가 있다. 이 패키지를 이용하면, 등록 가능성이 높은 학생들을 지역, 성별, 인종, 전공, 학업 성적은 물론이고 대학이 바라는 모든 특징에 따라 순위를 매길 수 있다.
• 당연한 말이지만 피해자는 대다수 미국인, 다시 말해 입시 관련 서비스와 컨설턴트에 수천 달러를 지출할 여력이 없어 귀중한 내부 정보를 얻지 못하는 빈곤층과 중산층 가정이다. 교육 시스템에서도 특권층만의 리그가 만들어졌다. 이제는 교육 시스템 자체가 가난한 학생들을 차별하고, 그들 중 대부분을 가난으로 이어지는 길로 밀어넣고 있다. 이는 결국 사회의 극심한 양극화를 불러온다.
• 이 전략에서 고객들의 무지는 핵심적인 퍼즐 조각이다.
• 이는 그들에게 가장 큰 고통이 무엇인지, 다른 말로 통점pain point이 어디인지 확인하는 것을 포함한다.
• 인터넷이 등장한 뒤 전 세계 사람들이 자신의 삶, 일, 구매 경험, 우정 등에 관해 무수히 많은 말을 쏟아내기 시작했다. 이 과정에서 자연언어natural-language를 처리하는 기계들을 위한 역사상 가장 대규모의 학습 말뭉치training corpus가 자연스레 만들어졌다.
• 누구나 돈이 필요하지만, 돈이 더욱 간절하게 필요한 사람들이 있다. 이런 사람들은 어렵지 않게 찾을 수 있는데 이들은 우편번호별 통계에서 소득 수준이 낮은 지역에 거주할 가능성이 매우 높다. 약탈적 광고주가 볼 때, 이들 지역의 IP로 접속해 검색엔진에서 대출을 알아보고, 할인쿠폰을 클릭하는 사람들은 사실상 특별한 관심을 가져달라고, 자신들을 쳐다봐달라고, 큰소리로 외치는 것이나 다름없다.
• 만약 순찰을 돌다가 기껏해야 16살로 정도로 보이는 미성년자 둘이 술을 마시는 장면을 목격한다면, 그들의 행위를 중단시키는 게 옳다. 그러다 보면 이런 경범죄가 경찰의 범죄 예측 모형에서 점점 더 많은 점을 차지하고, 이는 다시 경찰이 그 지역을 순찰하게 만든다. 이는 바로 유해한 피드백 루프가 활성화되는 전형적인 과정이다.
• 경찰이 금융권에 무관용 전략을 적용하면 어떻게 될까? 미국의 퇴직연금제도인 401k 가입자들을 속이는 것이든, 아니면 잘못된 정보를 제공하거나 사기를 저질러 투자자들의 푼돈을 갈취하는 것이든 티끌만한 위법 행위를 저질러도 금융인은 체포될 것이다.
• 그러나 현실적으로 그렇게 할 가능성이 거의 없다. 경찰들은 금융 범죄를 단속할 만한 전문 지식이 없다. 훈련, 방탄조끼 등등 경찰의 임무와 관련된 모든 것의 초점은 빈민가에 맞춰져 있다.
• 우리 짐작은 틀리지 않았다. 피검문자의 절대다수, 구체적으로 약 85%가 젊은 흑인이나 라틴계 남성이었다. 심지어 유색인종의 상당수가 불심검문의 ‘단골고객’인 지역도 있었다.15 그런데 강력 범죄와 어떤 식으로든 연루된 피검문자는 겨우 0.1%, 즉 1000명 중 1명꼴에 불과했다.
• 공정성이라는 개념도 마찬가지다. 이런 개념은 컴퓨터의 그물망을 미꾸라지처럼 잘도 빠져나간다. 프로그램 개발자들은 공정성을 어떻게 코드화할지 알지 못한다. 사실 그들에게 그렇게 하라고 지시하는 상사도 거의 없다.
• 불심검문 같은 정책을 지지하는 사람들은 불심검문을 직접 당해보아야 한다. 정의는 사회의 한 부분이 다른 부분에 가하는 것이 되어서는 절대 안 된다.
• 그렇다면 감옥 환경이 재범에 어떤 영향을 미칠까? 나는 정말로 그에 대한 연구를 하고 싶지만, 관련 데이터를 수집하는 것이 가능할지조차 의심스럽다.
• 미국 전체 수감자의 10% 정도를 수용하는 민영 교도소는 50억 달러 규모의 사업이다.
• 그러나 인성적성검사를 받는 지원자의 입장에서 보자면 어려운 선택을 하도록 강요당해 ‘해도 망하고 안 해도 망하는’ 진퇴양난의 상황에 몰리게 만든다.
• 가령 습관성 도벽이 발병하거나 생산성이 급감하는 것처럼 직원들에게 문제가 생기지 않는 한, 회사로선 부적합 지원자를 걸러내는 채용 모형을 수정할 이유가 거의 없다. 비록 잠재적 인재를 놓치기는 하겠지만, 그 모형은 제 역할을 충분히 다하고 있는 셈이다.
• 장거리 출퇴근자는 이탈 가능성이 높았다. 장거리 출퇴근은 누구에게나 힘든 일이기 때문이다. 제록스는 이탈과 관련 있는 다른 상관성도 발견했다. 장거리 출퇴근으로 힘들어하는 직원 상당수가 가난한 지역에 거주하고 있었던 것이다. 제록스는 이 문제에 어떻게 대처했을까? 기특하게도 이탈과 상관성이 매우 높은 몇몇 조건을 채용 모형에서 제외시켰다. 요컨대, 제록스는 공정성을 위해 효율성을 약간 희생시켰다.
• 미국 직장인들 사이에 최근 유행하는 신조어가 있다. ‘클로프닝clopening’이 바로 그것이다. 이 단어는 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장 문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 것을 가리키는 신조어다.
• 스타벅스 같은 상장기업들의 사업 모델은 회사의 수익을 최대한 늘리도록 설계되게 마련이다. 그런 관행은 다시 각 회사의 기업 문화와 인센티브 정책에 반영될 뿐 아니라 기업 운영 소프트웨어에도 갈수록 깊이 스며들고 있다.
• 일정 관리 소프트웨어는 기업들이 비용을 절감하도록 설계되기 때문에, 노동자들의 근무 시간을 주 30시간 미만으로 제한한다. 그 결과, 노동자들은 근무 시간이 주 30시간 이상일 경우에 주어지는 직장건강보험에 가입할 자격을 얻지 못하게 된다. 설상가상으로 혼란스러운 일정 때문에 대부분의 노동자이 부업을 할 수도 없다.
• 동료 간의 교류가 많은 팀, 즉 사회성이 높은 팀일수록 고객의 요구에 가장 신속하고, 가장 효율적으로 반응했다. 놀랍게도 이 팀에 속한 구성원들은 콜센터의 규칙들을 무시하고 서로 많은 대화를 나누었다. 연구 결과를 바탕으로 BOA가 콜센터의 모든 상담원에게 서로 어울리는 시간을 더 많이 갖도록 권장하자 콜센터 전체의 생산성이 치솟았다.
• 카타포라 같은 시스템은 피드백 데이터가 극히 제한적이다. 시스템에 의해 실패자로 낙인찍혀 해고된 누군가가 다른 일자리를 찾고, 그곳에서 몇 건의 특허를 출원할지도 모른다. 그러나 이런 데이터는 결코 카타포라 시스템에 포착되지 않는다. 그래서 시스템은 누군가를, 아니 수천 명의 사람을 철저하게 잘못 판단하더라도 그 사실을 전혀 깨닫지 못한다.
• 버지니아에 위치한 뉴스타Neustar를 만나보자.5 뉴스타는 주로 마케팅과 IT 분야 기업들에 클라우드 기반의 정보 및 분석 서비스를 제공하는 기업으로, 콜센터의 통화량 관리를 도와주는 기술도 제공한다. 이 기술은 콜센터로 전화를 건 고객의 데이터를 순식간에 검색해 고객들을 서열화한다. 가령, 더 많은 수익이 예상되는 잠재 고객들은 ‘인간’ 상담원과 곧바로 연결해준다. 반면 서열이 낮은 고객들은 상담원에게 연결되기까지 대기 시간이 더 길다.
• 미래의 데이터과학자인 학생들에게 윤리를 어떻게 가르치느냐고 묻는 사람들이 간혹 있다. 내가 쓰는 방법이 있다. 대개는 가장 먼저, e점수 모형을 만드는 방법에 대해 토론하다가 그 모형에 인종을 하나의 변인으로 적용하는 것이 타당한지 묻는다. 그러면 열이면 열 학생들은 불공정할 뿐더러 불법이라고 대답한다. 이번에는 우편번호를 사용하는 것은 어떻게 생각하느냐고 묻는다. 얼핏 생각하면 상당히 공정해 보인다. 그러나 학생들은 자신들의 모형에 과거의 부당한 행위들이 그대로 행해지고 있음을, 즉 자신들의 모형이 부당하다는 사실을 이내 깨닫는다.
• e점수 모형의 개발자들은 “당신은 과거에 어떻게 행동했을까?”라는 질문이 이상적인 상황에서 엉뚱하게도 “당신 같은 사람들은 과거에 어떻게 행동했을까?”라는 질문을 던진다. 이 두 질문의 차이는 엄청나다.
• 신용 이력이 나쁜 사람에게 취업의 문턱은 높기만 하다. 2012년 실시된 중하위 소득 계층 가정의 신용카드 빚에 관한 설문조사가 이를 명백하게 확인시켜준다.9 응답자 10명 중 1명은 불합격 사유가 나쁜 신용 이력 때문이라는 이야기를 고용주에게서 들었다고 대답했다.
• 부자들은 미국 국토안보부로부터 확인된 여행객trusted traveler 신분을 돈으로 살 수 있어서 보안검색대를 일사천리로 통과한다. 사실상 그들은 WMD로부터 자신을 보호하기 위해 돈을 쓰는 것이다.
• 리얼 페이지를 포함해 수많은 업체가 신원 보고서를 만들고 이를 판매해 수익을 창출한다. 예상할 수 있듯, 헬렌 같은 사람들은 고객이 아니다. 상품이다. 상품들의 불만을 처리하는데 시간과 돈을 쓸 기업은 없다.
• 데이터 경제에서 인간은 외부자이고 구닥다리다. 반면 시스템은 자동으로 작동하도록 만들어진다. 그것이 바로 효율성이고, 그래서 수익 창출원이 된 것이다.
• 그 모든 놀라운 능력에도 불구하고 기계들은 공정성을 제고하기 위해 그 무엇도 조정할 수 없다. 최소한 기계 스스로는 그렇게 할 수 없다. 데이터를 샅샅이 조사하고 무엇이 공정한지 판단하는 것은 기계로선 절대적으로 불가능한 영역이며 지독히도 복잡한 일이다. 오직 인간만이 시스템에 공정성을 주입할 수 있다.
• 제스트 파이낸스의 알고리즘은 신청자 1인당 최대 1만 개의 데이터를 처리한다.26 데이터 중에는 독특한 관찰 결과를 활용한 것도 있다. 가령 신청자가 신청서에 올바른 철자와 적절한 대소문자를 사용했는지, 신청서를 읽는데 얼마만큼 시간이 걸렸는지, 이용약관을 꼼꼼히 확인했는지 등도 데이터에 포함된다. 이런 관찰 결과를 중시하는 데는 나름대로 이유가 있다. 제스트 파이낸스는 ‘규칙을 준수하는 사람들이’ 신용도가 높다고 본다.
• 1983년 <위기의 국가〉 보고서를 발행한 교육위원회가 그랬듯, 호프먼은 자신의 분석 결과를 계층화하지 않았다. 그는 모든 흑인을 대규모의 동질한 인구 집단으로 규정했다. 흑인들을 다양한 지리적, 사회적, 경제적 집단으로 분리하지 않았다. 그의 눈에는 보스턴이나 뉴욕에서 정돈된 삶을 영위하는 흑인 교사나 미시시피 삼각주에서 맨발로 하루 12시간씩 소처럼 일하는 소작인이나 조금도 다르게 보이지 않았다. 호프먼은 인종적 편견에 눈이 멀어 있었다.
• 플로리다주에서는 운전 기록이 완벽해도 신용평가점수가 낮으면, 신용등급이 매우 우수하지만 음주운전으로 유죄 판결을 받은 경우보다 평균 1552달러의 보험료를 더 부담해야만 했다.
• 요컨대, 안전한 운전 습관과 아무런 관련이 없을지는 몰라도, e점수는 보험사들의 주머니를 두둑하게 채워주는 취약한 운전자 집단을 만들어낸다. 그들 중 상당수는 운전을 하지 않으려야 않을 수 없는 처지다. 운전에 일자리가 달려 있기 때문이다. 보험사들은 이를 악용해서 과다한 보험료를 부과함으로써 실리를 챙긴다.
• 이런 계층적 보험료 산정은, 각 세분 집단이 얼마의 보험료를 지불할 수 있는가에 기초한다. 그 결과, 평균 보험료에서 최대 90% 할인 받는 고객이 있는가 하면, 평균 보험료의 8배를 지불하는 고객도 있었다.
• 예전에 보험사들은 아랍어나 우르두어Urdu를 사용하거나, 동일한 우편번호를 사용하는 구역에 거주하거나, 소득 수준이 비슷한 사람들을 하나의 버킷으로 묶었는데, 이는 행동양식이 비슷한 사람들을 한데 묶은 것이다. 그리고 행동 패턴이 비슷하면 위험 수준도 비슷하다고 판단했다. 무슨 말인지 눈치챘을 것이다. 아니, 모르겠다고? 좋다. 유유상종의 망령이 다시 나타났다. 그것도 예전의 유유상종 모형에 내재된 부당함까지 상당 부분 포함한 채로 말이다.
• 그러나 프라이버시에는 대가가 따른다. 그리고 그 대가는 시간이 흐를수록 더욱 비싸진다.
• 즉, 추적당하는 것에 동의하는 사람만 자신의 차량에 장착된 블랙박스를 작동시키면 된다. 그 대가로 당장 5~50%의 보험요율 할인을 받을 수 있다. 이런 혜택은 점차 늘어날 것이다(반면 동의하지 않은 사람들은 더 많은 보험료를 부담함으로써 할인율로 발생한 보험사의 수익 감소를 메워줄 것이다)
• 기계 시스템은 얼마 지나지 않아 우리를 하나의 부족이 아니라 수백, 수천 개의 부족으로 분류할 것이다. 개중에는 비슷한 광고에 반응하는 부족도 있을 것이고, 정치적 성향이 비슷하거나 교도소를 자주 들락거리는 부족도 있을 것이다. 패스트푸드를 좋아하는 부족도 있을 수 있다.
• 가까운 미래에 방대한 양의 행동 데이터가 인공지능 시스템에 입력될 것이다. 문제는 그 인공지능 시스템은 인간의 눈으로 속을 들여다볼 수 없는 불투명한 블랙박스라는 점이다. 우리는 이런 과정이 이뤄지는 내내 자신이 ‘속한’ 부족이 무엇이며, 자신이 왜 그런 부족에 포함됐는지에 대해 거의 알지 못할 것이다.
• 타이어 제조업체 미셰린Michelin은 혈압부터 포도당 수치, 콜레스테롤 수치, 중성지방 수치, 허리둘레까지 다양한 기준에 대한 직원 목표치를 설정해놓았다. 3가지 항목에서 목표치를 달성하지 못한 직원들은 건강보험료로 연 1000달러를 추가 부담해야 한다.
• 투표를 독려한다는 건설적이면서도 순수해 보이는 목표를 가지고 시작된 페이스북 캠페인은 커다란 성공을 거두었다. 페이스북의 연구자들은 투표 기록을 비교한 후에, 자사의 캠페인이 34만 명의 유권자를 투표소로 더 불러냈다고 추산했다.
• 정치인들의 연설은 모든 사람을 만족시키고자 한다. 이는 대부분의 정치 연설이 지루한 이유 중 하나다.
• 한 바텐더가 몰래 촬영한 롬니의 저소득층 비하 발언 동영상은 급속도로 확산됐다. 롬니는 국민의 절반 가까이를 적으로 만든 말실수로 백악관을 차지할 가능성을 날려버렸다.
• 요컨대, WMD의 세상에서 가난은 갈수록 위험해지고 더 많은 비용을 감당해야 하는 꼬리표가 된다.
• 이런 표적 마케팅 기법의 은밀하고 개인적인 특성 때문에 사회의 승자들은 자신들에게 우호적인 모형이 다른 사람들의 삶을 어떻게 파괴하는지 볼 수 없다. 때로는 불과 몇 블록 떨어진 동네에서 벌어지는 WMD의 만행도 이들은 전혀 모른 채 살아간다.
• 데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다.
• 우리의 삶을 갈수록 광범위하게 지배하는 수학 모형을 규제하려면 먼저 무엇을 해야 할까? 나는 출발점을 모형 개발자들에게서 찾아야 한다고 생각한다. 의사들이 그러하듯이, 데이터과학자들도 자신들이 만든 모형이 오남용되고 잘못 해석될 가능성에 대항할 일종의 히포크라테스 선서를 해야 한다.
• 경제학자들이 스모그나 농지 유출수, 점박이올빼미의 멸종에 따른 비용을 계산하려고 노력해도, 숫자 자체는 절대로 그런 것의 가치를 표현할 수 없다. 수학 모형의 공정성과 공익에도 똑같은 원리가 적용되야 한다.
• 그러나 효율성을 희생시키는 한이 있더라도 알고리즘에 인간적인 가치를 반영할 필요가 있다.
• 프린스턴 대학교 연구가들은 이른바 웹 투명성 및 책임성 프로젝트Web Transparency and Accountability를 출범시켰다. 이들은 온라인 세상에서 부자, 가난한 사람, 남성, 여성, 정신질환자 등 온갖 종류의 사람으로 위장해 활동하는 소프트웨어 로봇을 만들었다. 그런 다음 로봇이 온라인 세상에서 받는 대우를 조사함으로써 검색엔진부터 구인구직 사이트에 이르기까지 자동화된 시스템에서의 편견과 차별을 조사하고 있다.
• WMD와는 정반대로 사회에 도움이 되는 수학 모형을 개발하는 일에 관심이 있었던 나는, 뉴욕의 주택 및 복지사업부Housing and Human Services Department 산하 데이터분석팀에서 무급 인턴으로 일하기로 했다.