갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
라디오 로맨스 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 라디오 로맨스 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- 윤도영의 임현택 알아보자 2부 ㅇㅇ
- 각종 인터뷰로 느끼는 일본 체감 평균키 ㅇㅇ
- 김정숙 인도 순방“예비비 배정 전 집행”…與, 법 위반 의혹 제기 정치마갤용계정
- 유명롤프로게이머.... 베트남서 한국여성 살해혐의.. ㄷㄷ. 야갤러
- 싱글벙글 모닝지구촌 0607 모닝지구촌
- 싱글벙글 욱일기 지지선언 부산대 에타 근황ㄹㅇ ㅇㅇ
- 월 2000버는 서울대-서울대 로스쿨 변호사가 이혼한 이유.jpg 주갤러
- 답지 베끼다가 서울대 합격한 사연 수갤러
- 삐라 20만장 살포.."전쟁 날라" 불안한 접경지역 주민들 정치마갤용계정
- 단편콘티 짜봤는데 스작이나 각콘 가능할까. BIGDAN
- "알바한테 제발 친절을 강요하지 마세요.jpg ㅇㅇ
- 싱글벙글 일본가면 먹어봐야 되는것들 그로자
- 민희진 향한 국제청원 등장, 뉴진스 새 앨범도 쇼크.jpg ㅇㅇ
- 가슴 큰 게 너무 싫었다는 일본 여자...jpg 설윤아기
- 인텔 이슈에 대한 옥동자의 발언(스압) 컴갤러
레오폴드 SITUATIONAL AWARENESS 요약
전문 읽어보니 흥미로운 내용이 많은대 특갤에 대충 번역기 돌린것만 돌아다녀서 내용 압축 요약해봄출시 당시 얀르쿤을 포함한 AI 업계인들에게 충격을 준 GPT-2의 성능문장에서 it이 무엇을 뜻하는지 이해하는 수준이었다 지금으로썬 하찮지만그마저 성공한 몇 케이스만 나열한 수준이 저정도였다 그리고 GPT-4는 오류가 있을지언정 미적분과 코딩을 건드리는 수준이 되었다GPT-2와 비교가 실례일 정도의 격차다 마치 유아와 고딩 수준의 격차다그리고 이 부분이 이 글의 핵심이다1. GPT-2와 GPT-4의 격차는 유아와 고등학생 차이2. 그렇다면 둘 만큼의 격차를 한번더 벌리면 AGI가 나올수 있다!그렇다면 GPT-2와 GPT-4의 격차는 대충 얼마만큼 인걸까?일단 학습에 사용된 컴퓨팅 양을 비교하면 대략 3000~10000배 정도 차이가 있다고 한다그럼 AGI는 컴퓨팅 파워를 대충 10000배 늘리면 가능 할까?여기서 눈물나는 소식이다 컴퓨팅 파워의 상승은 느려지고 있다처음엔 단순히 주변에 널려있는 칩을 끌어다가 서버로 만들고 한계에 봉착하자지금은 GPU 성능 올리겠다고 BF8로 정확도 내리고 트렌스포머 전용 칩설계 하고가지각색의 화려한 칩설계 똥꼬쇼로 비약적 성능 향상을 이루워 냈지만점점 최적화로 인한 성능 향상에 한계가 오고있다물론 매년 칩 성능은 향상되지만 과거 수년 만큼의 향상을 기대하기 어려워지고 있다는뜻이다 그렇다면 싹다 노동시켜야 하는걸까? 얀르쿤은 신인걸까?위 첨부 사진은 세가지 이미지 처리 모델들의 같은 성능대비 컴퓨팅 비용을 보여준다놀랍게도 10년동안 꾸준히 컴퓨팅 효율이 2년 마다 100배 가까이 늘었다!즉 단순 하드웨어 성능이 아닌 알고리즘의 향상으로 인한 실질적 컴퓨팅 (Effective computing)은계속해서 늘어나고 있다하지만 방금 자료는 이미지 구분 AI지 우리가 관심있는 LLM이 아니다그리고 현재 LLM 훈련의 세부사항은 기밀이기 때문에 우리는 알수없다대신 간접적인 예측은 할수있다위 표는 MATH 벤치마크에서 50% 성능을 내기위해 필요한 추론비용이다이 부분에서도 대략 2년마다 100배 이상 싸지는걸 볼수있다물론 이걸 훈련비용과 연관짓는건 비약이라고 할수있겠지만내부자가 아닌 특붕이들은 이걸로 만족하자컴퓨팅 파워 향상 + 알고리즘 향상을 겹쳐보면둘의 완벽한 상호보완 을 볼수있다 이정도면 충분한걸까?아쉽게도 그렇지만은 않다 GPT-4 또한 알고리즘 향상의 수혜를 입었으니GPT-2 와 GPT-4 의 격차가 최대 100만배 로 뛰어버렸다...다만 이건 너무 비관적으로 본거고 본문에선 대충 중간값인 10만배 차이로 가정한다그러나 여기서 우리의 마지막 희망이 등장하니본문에선 Unhobbling 이라고 표현했는데대충 우리에게 익숙한RLHF, 프롬프트(Chain of Thought 등), Context length, 그리고 요즘 최고 떡밥인 Agent 등을 통칭하는거다이미 닳고 닳은 특붕이들은 이게 뭐 싶을지도 모르나 이게 생각보다 훨씬 중요하다는게 저자의 입장이다RLHF (대충 인간이 내린 체점으로 학습시키기) 가 없었으면 chatgpt는 존재할수없었고단순 벤치마크만 봐도 Chain of Thought 프롬프트로 10배의 성능향상 = 10배 실질적 컴퓨팅 향상 을 보여줬고Context length의 중요성은 특붕이라면 잘알태고Agent 이 새끼는 사실상 GPT-5 떡밥의 절반 이상이다이 부분은 컴퓨팅 파워 향상과 알고리즘 향상에 비해 불연속적이고 예측이 어렵다따라서 예측또한 매우 불확실하다 당장 내일 이걸로 인공지능 성능이 미쳐날뛸수도 있고특붕이들 말라죽일때까지 특레발만 떨수도 있다 하지만 확실한건 이것으로 인한 성능 향상은 필연적이고 불가피하다는것이다이 모든 요소를 종합한 예측치 즉 GPT-4로 부터 10만배의 실질적 컴퓨팅을 쏟아부은AI가 탄생하는 시점이 2027년일 확률이 매우 높아 보인다는게 이 글의 핵심이다다른거 다 볼 필요없고 "규모"에만 집중해서 GPT-2와 GPT-4의 "규모" 즉 10만배의 (5OOMs)을 내는 시기가 2027년 이라는 것이다!그리고 사실 This decade 즉 늦어도 2030년 즈음 까지 AGI가 오지 않으면AGI 꿈은 당분간 혹은 오랫도록 날아갈 (bust) 거라는게 저자의 예측이다왜냐하면 미친듯이 늘어나는 투자비용의 한계하드웨어 향상의 한계 그리고 알고리즘의 한계를 가만하면지수적인 실질적 컴퓨팅의 상승도 거기까지가 한계이기 때문다르게 말하자면 GPT-4와 AGI가 실질적 컴퓨팅 10만배 차이 이상이면특붕이들의 멸망인것이고 그 이하면 늦어도 6년안에 AGI님이 오시는거다요약1. GPT-2와 GPT-4의 "실질적 컴퓨팅" 차이는 대략 10만배2. 여려요소를 종합해보면 2027년에 GPT-4의 10만배 "실질적 컴퓨팅" 때려박은 AI 나옴3. 그게 AGI면 특붕이 성불 아니면 싹다 노동시켜https://situational-awareness.ai/from-gpt-4-to-agi/ I. From GPT-4 to AGI: Counting the OOMs - SITUATIONAL AWARENESS AGI by 2027 is strikingly plausible. GPT-2 to GPT-4 took us from ~preschooler to ~smart high-schooler abilities in 4 years. Tracing trendlines in compute (~0.5 orders of magnitude or OOMs/year), algorithmic efficiencies (~0.5 OOMs/year), and “unhobbling” gains (from chatbot to agent), we should expect another preschooler-to-high-schooler-sized qualitative jump by 2027. Look. The models, they justsituational-awareness.ai
작성자 : 다이아몬드핸드고정닉
싱붕이 현충원 다녀옴(+12사단 훈련병)
출발하기전에 먼저 꽃집에 들렸다. 오늘은 귀여운 냥이도 있다. 참고로 여기 사장님께서는 5년전에 내가 국화꽃을 사러 갔을때 어디가냐고 여쭈어보셔서 호국영웅분들께 헌화하러 현충원에 간다고 하니 너무 고맙다며 현충일에는 돈을 받지 않을테니 그냥 오라고 하셨다. 오늘도 결제를 할려고 했는데 카드기를 뽑아버리셨다. 오늘까지 총 5년동안 한번도 돈을 받지 않으셨다... 너무 감사한 마음에 이렇게라도 작게나마 알려드려야할 것 같아서 위치 공유함 한손 가득히 들고 출발 먼저 셔틀버스타고 제2 연평해전 묘역에 내렸다. 현충원 제일 위에 있기 때문에 여기서 먼저 시작하는게 현충원을 돌아다니기에 용이하다. 제2 연평해전 묘역에 꽃을 놔드리고 옆에 연평도 포격 전사자 해병 2분께도 헌화를 해드렸다. 마지막으로 묵념을 하고 내려갔다. 두번째로 천안함 묘역에 들렸다. 일반인분들도 많이와서 참배를 하고 가셨다. 바로 옆 묘역에 가면 천안함 실종자 수색 작업중 순직하신 UDT 한주호 준위님 묘역도 있다. 그리고 이번에 12사단에서 순직한 훈련병분을 찾아갔다. 아직 안장되신건 아니고 봉안당에 계시다. 인터넷에서 어렵게 정보를 찾아서 갔다. 이름이랑 공개된게 없어서 유가족분들이 비공개를 희망하시는 것일 수도 있어서 가리고 올림 여담으로 본인도 예비장교로 내년에 입교 예정인데 참 안타까운 것 같다. 누구보다 병사로부터 신뢰받아야 할 간부가 전시 상황도 아닌데 고의로 팀킬을 한다는 것은 있을 수 없는일이고 불명예스러운 일이다. 반드시 관련자가 엄중한 처벌을 받아야만 순직한 장병분과 유가족분들께 조금이나마 위로가 될 것이고 군의 수치심을 씻어낼 수 있음이 분명한 사실이라고 생각함. 참고로 현충원에 갈때 구글에 "현충원 묘역 찾기"를 검색해서 찾아가길 바란다. 이름만 검색해도 나오고 동명이인이 많은 경우 군종류, 계급 등등으로 상세 검색을 통해 묘역정보가 나온다. 오늘 셔틀버스에서 어르신분들이 묘역위치를 잘 모르시길래 한분 한분 검색해서 알려드렸다. 어르신분들도 이걸 많이 알았으면 하는 바람임 날씨가 너무 뜨거워서 정말 몸이 아이스크림처럼 녹아내리는줄 알았고 미칠 것 같았는데 나라를 지키기 위해 살신성인 하신분들을 생각하면 그런 마음이 사라졌다.. 아무튼 오늘 그냥 빨간날이 아니라 의미있는 날로 보내서 너무 뿌듯했음 마지막으로 이건 내가 만든 뱃지인데 쿠팡에 "천안함 뱃지"라고 검색하면 나옴 수익금은 모두 다시 뱃지로 만들거나 장학금으로 해군 전사&순직 용사분들 모교에 기부해오고 있어. 절대 내가 가져가는건 하나도 없고 업체에서도 최소 필요 비용만 가져가고 있음 혹시나 생각있는 싱붕이는 찾아봐줘! 주변에 널리 홍보해주면 너무 고맙겠음 ㅜㅜ 이건 인증이야 오늘도 나라를 위해 수고하시는 모든 국군 장병분들과 순국선열하신 장병분들께 깊은 감사를 드립니다. - dc official App
작성자 : 해붕이고정닉
차단 설정
설정을 통해 게시물을 걸러서 볼 수 있습니다.
[전체 갤러리]
차단 기능을 사용합니다. 차단 등록은 20자 이내, 최대 10개까지 가능합니다.
설정된 갤러리
갤러리 선택
설정할 갤러리를 선택하세요.
[갤러리]
차단 기능을 사용합니다. 전체 설정과는 별개 적용됩니다.
