아래에 올려주신 딥마인드의 새로운 연구 결과 논문을 바둑에 관련된 내용을 중심으로 간단히 소개합니다. 논문의 주소는 다음과 같습니다.

https://arxiv.org/pdf/1712.01815.pdf

이번 연구는 알파고 제로에 사용된 알고리즘의 일반화 가능성, 즉 다른 분야에 적용 가능하다는 것을 보여주기 위하여 시도되었다고 생각합니다. 첫 번째 대상으로 가장 쉽게 적용이 가능하다고 생각되는 체스와 일본장기를 설정한 것은 당연하다고 보여집니다.

알파제로는 알파고 제로에 남아있던 바둑에 특수한 요소들, 예컨대 바둑판의 회전대칭과 거울대칭의 성격을 이용하는 기술(이를 이용하면 자료를 8배로 늘릴 수 있음)을 버리고 체스와 일본장기에는 반드시 나타나는 무승부의 가능성을 도입하는 등을 제외하면 거의 대부분의 기술을 알파고 제로에서 그대로 가져왔습니다. 오히려 실험 시간을 단축하기 위해 1수당 트리 탐색 수를 절반으로 줄이는 등 알고리즘을 가볍게 만들고 학습 방식도 단순화하였습니다. 기보를 생산하기 위해 1세대 TPU 5000개를 사용하고,  학습용으로 64개의 2세대 TPU를 사용하였습니다.

학습시간은 체스의 경우 8시간(44백만 판), 일본장기의 경우 12시간(24백만 판), 바둑의 경우 34시간(21백만 판)을 각각 사용하였습니다. 각 게임별로 1판당 소요시간의 차이가 많이 나는 이유는 1수당 제한시간이 다르기 때문인데(체스 0.04초, 일본장기, 0.08초, 바둑 0.2초) 이는 게임마다 복잡성에서 차이가 많이 나기 때문입니다. 

아래의 글에서도 소개되었듯이, 체스의 경우 학습이 시작된 후 4시간만에 2016년 인공지능 체스 챔피언인 스톡피시를 앞지르기 시작하였고, 일본장기의 경우 2시간만에 인공지능 일본장기 챔피언인 엘모를 능가하였습니다. 또한 바둑의 경우 8시간만에 알파고 리(돌파고)를 앞질렀습니다.

바둑용 알파제로의 성장곡선을 보면 대체로 20시간 전후해서 알파고 제로 20블럭/3일훈련 버전(elo 4350)을 앞지르기 시작한 것으로 보이는데 최종 버전의 알파제로와 알파고 제로 20블럭/3일훈련 버전의 1수당 1분 제한의 100번 승부에서 알파제로가 60승 40패로 60%의 승률을 기록하였습니다. 논문에 나와있는 elo 레이팅 공식에 대입해보면 알파제로 최종버전(34시간 훈련)의 elo는 4500점을 약간 상회하는 것으로 추정됩니다.

제가 주목하였던 것은 알파제로와 알파고 제로의 흑백 승률인데, 알파제로가 흑으로 29승 21패, 백으로 31승 19패를 기록하였습니다. 백이 매우 유리하다는 중국룰로 대국하였을텐데 알파제로의 흑백 승률이 비슷하게 나온 것은 제게는 의외였습니다. 100-200판으로 결론을 내리는 것은 성급하다고 생각되지만 흑백의 승률 차이가 크게 나는 것은 마스터나(elo 4858) 알파고 제로 40일 훈련버전(elo 5185) 처럼 극도로 높은 수준에서 나타나고 인간의 기력보다도 꽤 높은 elo 4500 수준에서도 중국룰은 백에게 크게 기울지 않는 것 같습니다. 

알파제로는 어떤 스타일의 바둑을 둘까?  알파고 제로처럼 묻지마 33을 좋아할까. 알파제로와 알파고 제로의 기보 100개가 가능한 빨리 공개되길 바랍니다.