인터뷰 내용:

"라마 3에 대해서는 나는 전혀 공을 들이지 않았습니다. 

우리의 모델이 오픈 소스라는 것을 확실히 한 것에 대해서는 어쩌면 약간의 공을 들였다고 할 수 있겠네요. 

하지만 기술적인 기여는 매우 많은 사람들로부터 나온 것이고, 저는 아주 아주 작은 부분만을 했습니다.  

그래서 15조 토큰이 나왔죠. 

당신은 얻을 수 있는 모든 데이터, 모든 고품질의 공개 데이터를 얻은 다음 미세 조정하고 라이선스 데이터 등 모든 것을 해야 합니다. 

그것이 15조에 도달하는 방법입니다. 

하지만 그건 좀, 포화 상태에 이르렀다고 할 수 있어요. 

얻을 수 있는 텍스트에는 한계가 있습니다."

원문:

"I deserve no credit whatsoever for Llama 3.

Maybe a little bit of credit for making sure our models are open source.

But the technical contributions are from a very large collection of people and I have a very very small part of it.

So, 15 trillion tokens, yeah.

You need to get all the data you can get, all the high quality public data and then, fine tune and licensed data and everything.

So that's how you get to 15 trillion.

But that's kind of a bit, it's kind of saturating.

There is only so much text you can get."

https://twitter.com/tsarnick/status/1786193394605473957