디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

알파고의 또다른 버전 알파제로에 대하여

Wert(222.118) 2017.12.07 00:26:18
조회 1676 추천 28 댓글 14

아래에 올려주신 딥마인드의 새로운 연구 결과 논문을 바둑에 관련된 내용을 중심으로 간단히 소개합니다. 논문의 주소는 다음과 같습니다.


https://arxiv.org/pdf/1712.01815.pdf


이번 연구는 알파고 제로에 사용된 알고리즘의 일반화 가능성, 즉 다른 분야에 적용 가능하다는 것을 보여주기 위하여 시도되었다고 생각합니다. 첫 번째 대상으로 가장 쉽게 적용이 가능하다고 생각되는 체스와 일본장기를 설정한 것은 당연하다고 보여집니다.


알파제로는 알파고 제로에 남아있던 바둑에 특수한 요소들, 예컨대 바둑판의 회전대칭과 거울대칭의 성격을 이용하는 기술(이를 이용하면 자료를 8배로 늘릴 수 있음)을 버리고 체스와 일본장기에는 반드시 나타나는 무승부의 가능성을 도입하는 등을 제외하면 거의 대부분의 기술을 알파고 제로에서 그대로 가져왔습니다. 오히려 실험 시간을 단축하기 위해 1수당 트리 탐색 수를 절반으로 줄이는 등 알고리즘을 가볍게 만들고 학습 방식도 단순화하였습니다. 기보를 생산하기 위해 1세대 TPU 5000개를 사용하고,  학습용으로 64개의 2세대 TPU를 사용하였습니다.


학습시간은 체스의 경우 8시간(44백만 판), 일본장기의 경우 12시간(24백만 판), 바둑의 경우 34시간(21백만 판)을 각각 사용하였습니다. 각 게임별로 1판당 소요시간의 차이가 많이 나는 이유는 1수당 제한시간이 다르기 때문인데(체스 0.04초, 일본장기, 0.08초, 바둑 0.2초) 이는 게임마다 복잡성에서 차이가 많이 나기 때문입니다. 


아래의 글에서도 소개되었듯이, 체스의 경우 학습이 시작된 후 4시간만에 2016년 인공지능 체스 챔피언인 스톡피시를 앞지르기 시작하였고, 일본장기의 경우 2시간만에 인공지능 일본장기 챔피언인 엘모를 능가하였습니다. 또한 바둑의 경우 8시간만에 알파고 리(돌파고)를 앞질렀습니다.


바둑용 알파제로의 성장곡선을 보면 대체로 20시간 전후해서 알파고 제로 20블럭/3일훈련 버전(elo 4350)을 앞지르기 시작한 것으로 보이는데 최종 버전의 알파제로와 알파고 제로 20블럭/3일훈련 버전의 1수당 1분 제한의 100번 승부에서 알파제로가 60승 40패로 60%의 승률을 기록하였습니다. 논문에 나와있는 elo 레이팅 공식에 대입해보면 알파제로 최종버전(34시간 훈련)의 elo는 4500점을 약간 상회하는 것으로 추정됩니다.


제가 주목하였던 것은 알파제로와 알파고 제로의 흑백 승률인데, 알파제로가 흑으로 29승 21패, 백으로 31승 19패를 기록하였습니다. 백이 매우 유리하다는 중국룰로 대국하였을텐데 알파제로의 흑백 승률이 비슷하게 나온 것은 제게는 의외였습니다. 100-200판으로 결론을 내리는 것은 성급하다고 생각되지만 흑백의 승률 차이가 크게 나는 것은 마스터나(elo 4858) 알파고 제로 40일 훈련버전(elo 5185) 처럼 극도로 높은 수준에서 나타나고 인간의 기력보다도 꽤 높은 elo 4500 수준에서도 중국룰은 백에게 크게 기울지 않는 것 같습니다. 


알파제로는 어떤 스타일의 바둑을 둘까?  알파고 제로처럼 묻지마 33을 좋아할까. 알파제로와 알파고 제로의 기보 100개가 가능한 빨리 공개되길 바랍니다.

추천 비추천

28

고정닉 2

3

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는? 운영자 24/06/10 - -
401092 초코주리가 하변 처리만 더 잘했다면 좋았을텐데 아쉽다 ㅇㅇ(223.62) 17.12.23 69 0
401091 박정환은 상수랑 둘때도 하수랑 둘때도 별 차이없지않냐 [1] ㄴㄴ(106.102) 17.12.23 186 0
401090 내가 기대했던 성탄특집빅매치 정리대전은 이런게 아니어써 ㅇㅇ(223.62) 17.12.23 88 2
401089 알파고 제로 vs 초코주리 3점 목숨 매치 [3] ㅇㅇ(211.200) 17.12.23 424 0
401087 나도 박정환 젖히는수가 좋았다고 생각했는데 역시 ㅇㅇ(223.62) 17.12.23 76 0
401086 졌잘싸 주리히메~.고생했어 ㅜ.ㅡ ㅇㅇ(223.62) 17.12.23 58 0
401085 초코주리 정도 커여움이면 정환이가 데리고 살만하다 [1] ㅇㅇ(223.62) 17.12.23 182 1
401084 진짜 박정환 공격을안하네 1111(119.148) 17.12.23 80 0
401083 복기도 잘 해주고 ㅋㅋ 얼마짜리 지도대국이냐 ㅇㅇ(223.39) 17.12.23 69 0
401082 권주리 입만산건 아니었네 ㄷㄷ [4] ㄹㅈ(211.47) 17.12.23 662 2
401081 박정환이 4살 오빠 아니냐 ㅇㅇ(211.200) 17.12.23 79 0
401080 191수까지 진행 ㅎㄷㄷ ㅇㅇ(223.62) 17.12.23 64 0
401078 정환이 몇분 남았냐 막판에 놓침 ㅇㅇ(223.62) 17.12.23 59 0
401077 권주리 지도기 부럽다 ㅇㅇ(116.120) 17.12.23 286 0
401076 끝났다ㅋㅋㅋㅋ ㅇㅇ(116.120) 17.12.23 51 0
401075 아가리만 최정팬(110.10) 묘수 ㄷㄷ [5] ㅇㅇ(223.62) 17.12.23 319 7
401074 이런판을 목진석이 해설하니까 ㄹㅇ수면제네 ㅋㅋㅋㅋㅋ ㅇㅇ(223.33) 17.12.23 119 4
401073 주리기 정환이랑 오래 두고 싶은가보네 ㅎㅎ ㅇㅇ(211.36) 17.12.23 77 0
401072 주리야 던져라 ㅇㅇ(116.120) 17.12.23 47 0
401071 박정환 오늘 완착 2개. 최정팬(110.10) 17.12.23 121 0
401070 마스터가 60판 둘때가 이 느낌인거냐 [1] ㅇㅇ(223.39) 17.12.23 224 3
401069 40수에 다 뒀습니다 선언한 바둑 질질끄네 ㅇㅇ(118.222) 17.12.23 61 0
401068 정환이 인터뷰나 기대해봐야지 ㅇㅇ(175.223) 17.12.23 96 0
401067 근데 권주리 정말 귀엽다 ㅇㅇ(175.223) 17.12.23 130 0
401065 박정환이 스타일은 노잼이라도 호각인 상대면 승부가 재밌는데 ㅇㅇ(223.39) 17.12.23 79 0
401064 바갤럼들 박정환이 권주리 몇 수컷 시킬지 두근두근했었는데 [1] ㅇㅇ(223.62) 17.12.23 206 1
401062 신진서 팡톈펑 초살대국을 보면서 아쉬움을 달래야겠다 [4] ㅇㅇ(223.39) 17.12.23 225 1
401061 슬슬 졸리다 [1] ㅇㅇ(175.223) 17.12.23 118 0
401060 빨리 끝내고 박정환 인터뷰 보고싶다 ㅇㅇ(116.120) 17.12.23 43 1
401059 근데 진시영이랑 붙었을 땐 작정하고 시간공격으로 한 시간 컷했는데 [1] ㅇㅇ(175.223) 17.12.23 168 0
401058 도발주리 햐 ㅇㅇ(124.54) 17.12.23 47 0
401057 정환이 능력중 하나 오늘도 시전 [2] ㅇㅇ(115.139) 17.12.23 308 2
401056 누구 바갤문학 안 쓰냐 주제 간다 박정환&권주리 '대국이 끝난 후' ㅇㅇ(175.223) 17.12.23 83 0
401055 젠피셜 박정환 77% kj(119.207) 17.12.23 176 1
401054 국대 혼탕훈련이라는게 바로 저 지랄을 맨날 한다는거지? ㅇㅇ(223.39) 17.12.23 83 1
401053 박정환 시간공격 ㅋㅋㅋ ㅇㅇ(116.120) 17.12.23 56 0
401052 망했을때 하필이면 박정환이 1인자인거지 ㅇㅇ(223.62) 17.12.23 61 0
401051 왜 박정환이 1위되면서 한국바둑 망했는지 알겠다 [2] ㅇㅇ(223.33) 17.12.23 332 1
401050 박정환 졸라무서눠 ㅍㅍ ㅇㅇ(58.140) 17.12.23 83 0
401049 정환이가 이벤트를 망쳤어 ㅠㅠ 저 자리에 신진서가 있어야 됐는데 ㅠㅠ [1] ㅇㅇ(223.39) 17.12.23 190 0
401048 최정 바둑 100배 재밌다. 초코주리 바둑 ㅇㅇ(223.62) 17.12.23 70 0
401047 도발 주리 ❤+ ㅇㅇ(175.223) 17.12.23 88 0
401046 인간적으로 존나 노잼이네 [1] ㅇㅇ(203.226) 17.12.23 171 4
401045 권주리 "박정환? 공격 좀 하나??" 최정팬(110.10) 17.12.23 244 0
401044 방금 좌상귀 백한점 맘에 든다. 주리히메 ㅇㅇ(223.62) 17.12.23 59 0
401043 주리 도발!! ㅇㅇ(223.62) 17.12.23 35 0
401042 바둑 권주리가 좋은데 [1] ㅇㅇ(1.232) 17.12.23 151 0
401041 주리히메 입에 쿠크다스 하나 까서 입에 넣어 주고 파 ㅇㅇ(175.223) 17.12.23 73 0
401040 최정 ㄱ ㅐ털려서 현역 물러났다는 소리 들었으면 좋겠다 ㅇㅇ(223.62) 17.12.23 40 0
401039 와 방금 한점 잡은수 ㄷㄷ [2] ㅇㅇ(116.120) 17.12.23 292 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2