최근 ‘OpenAI’는 ‘UberAI’와 NAS(Neural Architecture Search) 단계를 가속화하기 위한 새로운 접근법인 ‘합성 페트리 디쉬(Synthetic Petri Dish, SPD)’를 제안했다.

심층 신경망(Deep neural networks)은 지난 몇 년 동안 음성 인식, 이미지 인식, 기계 번역과 같은 다양한 비즈니스 과제를 성공적으로 수행해왔다.

연구에 따르면 NAS(Neural Architecture Search)는 넓은 공간의 설계 모티프(architectural motifs)를 탐색하며, 대규모 네트워크 내에서 인스턴스를 생성하고 이를 통해 네트워크를 수천 개 이상의 데이터 샘플로 훈련 및 평가함으로써 각 주제의 실제 평가를 포함하는 계산 집약적 프로세스다.

출판전 논문 플랫폼 아르시브(arxiv)에 공개된 이 연구는 생물학 아이디어에서 영감을 얻어 기계 학습으로 이 아이디어를 구체화했다. 고성능 SPD 적용은 고성능 설계 모티프를 식별하는 것을 목표로 만들어졌다. 본 연구에서 제안한 접근법은 더 나은 신경망 모티프를 찾기 위해 이러한 종류의 과학적 과정을 알고리즘으로 재현하려고 시도했다.

SPD 목표는 그 안에 훈련된 소규모 모티프 성능이 ‘기반 진실(ground-truth)’ 평가에서 확장된 모티프의 성능을 잘 예측하도록 하는 소규모 훈련 환경을 만드는 것이다.

위의 그림에서 왼쪽 그림은 SPD 절차의 내부 루프 및 외부 루프 훈련을 보여준다. 모티프(이 예에서 활성화 기능)는 전체 네트워크(예 : 2 계층, 100개의 넓은 MLP)에서 추출돼 별도의 훨씬 작은 모티브 네트워크 (예 : 2 계층, 단일 뉴런 MLP)로 인스턴스화 된다.그런 다음 모티프 네트워크는 합성 훈련 데이터를 사용, 내부 루프에서 훈련되고 합성 검증 데이터를 사용해 평가된다. 외부 루프에서, 평균 평균 제곱 오차 손실은 표준화 된 SPD 검증 손실과 이에 상응하는 표준화 된 기반 진실 손실 사이에서 계산된다.

합성 훈련 및 검증 데이터는 외부 루프 손실과 관련해 경사 단계( gradient steps)를 수행함으로써 최적화된다.

SPD는 특히 불충분 한 지면 기반 진실 데이터(ground truth data)를 사용할 수있을 때 새로운 모티프의 성능을 훨씬 더 정확하게 예측할 수 있다.연구는 특정 모티프 또는 요소가 최종 결과에 어떤 영향을 미치는지에 대한 일종의 질문-답변 문제로 아키텍처 검색에 접근해 예측 모델이 더 이상 블랙 박스가 아니라는 것을 제시한다.

http://scimonitors.com/%ec%98%a4%ed%94%88ai%c2%b7%ec%9a%b0%eb%b2%84ai-%ec%83%88%eb%a1%9c%ec%9a%b4-%ec%8b%a0%ea%b2%bd-%ec%84%a4%ea%b3%84-%ea%b2%80%ec%83%89-nas-%ea%b0%80%ec%86%8d-%ec%97%b0%ea%b5%ac/