알파고 제로가 마스터를 압도적으로 이겨서 많은 분들이 마스터를 많이 낙후된 기술로 오해하시는 듯 합니다. 알파고 제로가 훨씬 강하긴 하지만 어딘가 옛날 바둑의 흔적이 남아 있는 듯 하고 모양을 중시하는 면도 있는 마스터에게 더 애착을 가진 저는 서운합니다. 사실 10월에 발표된 알파고 제로 논문에도 나와 있듯이 알파고 제로는 마스터에서 사용된 핵심기술들을 그대로 가져와서 만든 프로그램입니다.

마스터와 알파고 제로의 다른 점은 2가지입니다. 1)학습의 시작단계에서의 기보 사용 유무(마스터는 사용,  알파고 제로는 사용하지 않음). 2)트리서치에서 롤아웃의 사용 여부(마스터는 사용, 알파고 제로는 사용하지 않음). 대략 이 두 가지의 차이가 두 프로그램의 실력 차이를 낳았다고 볼 수 있는데, 알파고 제로 입장에서 89승 11패는 두 프로그램 간의 elo점수 차이(약 330점)에서는 예상될 수 있는 성적입니다. 그러나 두 프로그램 사이의 격차는 마스터와 돌파고의 차이(elo 1150)의 1/3에도 미치지 못합니다. 마스터와 돌파고의 커다란 격차는 마스터와 알파고 제로에 새로 채택된 하드웨어, 신경망 구조, 강화학습 알고리즘에 기인합니다.

논문에서는 직접 언급하지 않았지만 알파고 제로가 마스터보다 나은 이유로 처음 학습에 사용된 기보에 남아있던 인간들의 편견이 학습이 진행될수록 마스터의 성장을 방해하였을 가능성이 주로 거론됩니다. 마스터가 사용한 롤아웃은 기존의 바둑 인공지능 프로그램들이 시뮬레이션에서 사용해 온 기술로서 사활 착각 등 버그성 착점의 원인이 될 수 있습니다. 알파고 제로는 시뮬레이션에서 더 이상 몬테카를로 알고리즘이 제공하는 롤아웃을 사용하지 않고 학습을 통해 습득한 가장 최근의 수치들을 사용합니다. 롤아웃에 비해 얼마나 효과적인지는 아직까지 밝혀지지 않았지만 딥마인드가 이런 방법이 된다는 것을 보여주었으므로 앞으로 다른 인공지능 개발자들도 이를 따라 할 것 같습니다.