Hey everyone,

안녕하십니까 여러분.

It's been a long day but we wanted to put together a few thoughts while we have a moment waiting for our next server fix to build. This launch has been rough, to say the least. In this post, we plan to address both the ongoing technical realm stability issues and the conversation around streamers getting priority in the login queue. We are sorry that this is being addressed so late in the day - we have been giving the server issues absolute priority and haven't had time until now to write up this explanation.

오늘은 참으로 긴 하루였습니다. 서버를 고치기 위한 다음 빌드를 기다리는 잠시 동안, 몇 가지 생각을 정리해 전달하고자 합니다. 일단, 이번 리그 스타트는 분명히 좋지 않았습니다. 이 글은 우리는 우리가 마주하고 있는 기술적인 문제들과, 스트리머들에게 대기열 우선권을 준 내용에 대한 것입니다. 이 내용을 너무 늦게 전달해서 대단히 죄송합니다. 우리는 서버 정상화를 가장 최우선 과제로 삼았기 때문에 이 설명문을 작성할 시간조차 없었습니다.

Let's start with the technical issues.

기술적인 문제들부터 시작하겠습니다.

Immediately upon launch of the league, we could see that the queue was running incredibly slowly. At the rate that it was emptying, it'd be at least two hours to get everyone into the game. The reason was that when players logged into their accounts, the server would migrate any previously un-migrated Ritual characters to Standard, which can take quite a lot of time to do on-demand (as much as three or four seconds per character in some cases). Users who had already logged in since Ritual ended were already migrated and were nice and fast. Normally, we run a "trickle migration" process in the background that performs this action on every account over the few days between the last league ending and the new one starting. Due to human error, this process was not run and hence the queue was unbearably slow to empty. (We have since codified this step into a QA checklist so that can't be trivially missed again in the future.)

리그 스타트가 되자마자 발견한 것은 대기열이 상당히 느리게 빠지고 있다는 점이었습니다. 이 속도로 가면 모두를 접속시키는 데 적어도 두 시간은 필요했습니다. (대기열이 느렸던) 이유는 플레이어들이 계정에 접속하면, 그 계정 안에 있는 의식 리그 캐릭터들을 스탠다드 리그로 이전하는 작업을 수행하게 되는데, 요청을 받고 수행하게 되면 시간이 오래 걸리게 됩니다 (캐릭터당 3-4초 정도까지 걸리기도 합니다). 의식 리그가 끝나고 나서 로그인을 한 번이라도 한 유저들은 벌써 스탠다드 리그에 캐릭터가 옮겨져 있었고, (그 계정들은 대기열 처리 속도가) 빨랐습니다. 원래대로라면, 우리는 리그 시작 며칠 전부터 리그 시작일까지 "흘러내리듯" 캐릭터 이전 작업을 돌렸어야 합니다. 사람의 실수로 인해(human error), 이 과정이 진행되지 않았고, 대기열이 빠지는 속도는 견디기 힘들만큼 느렸습니다. 이 과정을 QA 체크리스트에 추가했기 때문에 앞으로는 단순한 실수로 인해 빠뜨리는 일이 없을 것입니다.

We realised that a solution was to disable the Ritual-Standard migration entirely, which would result in the queue emptying very quickly but players would miss some Standard progress until we run it again later on. This solved the queue speed issue by around the one hour mark. At which point, the realm freaked out and dumped most of the players out, then continued to do this roughly every ten minutes or so for the rest of the day.

우리는 아예 의식리그에서 스탠다드로의 캐릭터 이전을 하지 않는 것이 대기열을 빨리 뺴는 것이라고 생각했습니다. 그러나 그렇게 되면 몇몇 플레이어들은 이 과정을 누군가가 돌리지 않는 이상 할 수 없게 되겠죠. 이 해결책은 대기열이 빠지는 속도를 한 시간으로 줄이긴 했습니다. 그러나 어떤 시점에, 서버가 갑자기 당황했고(freaked out), 대부분의 플레이어들을 튕겨낸 후, 하루 종일 이 과정을 10분 정도의 텀으로 반복했습니다.

This wasn't good. At all. Aside from catastrophically ruining our launch day, it completely mystified us because we have been so careful with realm infrastructure changes. We thoroughly tested them internally, peer code reviewed them, alpha tested them, and ran large-scale load tests up to higher player capacities than we got on launch day. We even went so far as to deploy some of the database environment changes to the live realm a week early to get real user load on them just in case. But yet it still imploded hard on release.

이건 정말 좋지 않았습니다. 전혀요. 우리의 리그 스타트를 재앙 수준으로 망쳐버릴 뿐만 아니라, 여태 서버 관리를 꽤 철저하게 해온 우리를 완전히 혼란스럽게 만들었습니다. 내부 테스트도 거치고, 코드를 돌려가며 리뷰하기도 했고, 알파 테스트도 했고, 대규모 부하를 걸어 리그 초의 플레이어 숫자를 버티는 테스트까지 진행했습니다. 몇몇 데이터베이스 환경 변화는 혹시 몰라서 일주일 전에 적용하기까지 했습니다. 그럼에도 불구하고 리그 첫 날에 스스로 붕괴해버렸습니다.

I'll spare you the blow-by-blow of the hundred changes we have made over the last 12 hours, but we have been trying things one at a time in order of likelihood to fix the problem. There is one change we have been leaving for last (because it requires some downtime), but we have exhausted everything else we can think of, so we're trying that next. In the next 30-60 minutes after posting this, there will be roughly 30-60 minutes of hard downtime to make this change. We are optimistic that it stands a good chance of resolving the issue.

우리가 12시간 동안 거친 백 여 가지의 변경점을 여기에 일일히 나열하지는 않겠습니다. 그러나 문제를 해결하기 위해서 방법을 하나하나 적용해 왔습니다. 우리가 최종적으로 남긴 한 가지 방법이 있는데 (서버를 내리는 작업이 필요해서요), 우리가 생각해낼 수 있는 모든 방법을 총동원했기 때문에, 그걸 다음에 하도록 하겠습니다. 이 글을 올리고 나서 30-60분 정도 지나고 나서, 한 30-60분 정도 해결책을 적용하러 서버를 아예 내릴 것입니다. 일단, 이 방법이 문제를 해결할 것이라는 긍정적인 기대를 갖고 있습니다.

We will continue to work on this issue until the servers are working perfectly. We know the Path of Exile realm can handle this much load, it's just a matter of divining what subtle fuckery is causing the problem today.

앞으로 서버가 완벽히 돌아갈 때까지 이 이슈에 대한 작업을 진행하겠습니다. 패스 오브 엑자일 서버가 이 정도의 부하는 견딜 수 있기 때문에, 어떤 좇같은 문제가 이런 사태를 야기했는지 구분해내는 게 관건입니다.

Some players have also become concerned that when server issues occur, items are occasionally duplicated or destroyed when placed in a guild stash. This is a longstanding consequence of how our guild stashes work and generally isn't of much concern because players can't induce server problems and can't control whether the item is duplicated or destroyed. We are keeping a close eye on this of course.

몇몇 플레이어들은 서버 문제가 발생할 때, 길드 창고에 넣어진 아이템이 복사되거나 완전히 사라진다는 문제를 걱정하고 있습니다. 이것은 길드 창고가 작동하는 우리의 방식에서 기인하는 문제라, 플레이어들이 스스로 서버 문제를 일으킬 수 있는 것도 아니고, 복사될 지 없어질 지 결정할 수 있는 것도 아니라서 큰 문제는 아닙니다. 하지만 물론 이것을 관심을 갖고 보고 있습니다.

So while this was all going on, we managed to also commit a pretty big faux pas and enrage the entire community by allowing streamers to bypass that really slow queue we mentioned. The backstory is that we have recently been doing some proper paid influencer marketing, and that involves arranging for big streamers to showcase Path of Exile to their audiences, for money. We had arranged to pay for two hours of streaming, and we ran right into a login queue that would take two hours to clear. This was about as close as you could get to literally setting a big pile of money on fire. So we made the hasty decision to allow those streamers to bypass the queue. Most streamers did not ask for this, and should not be held to blame for what happened. We also allowed some other streamers who weren't involved in the campaign to skip the queue too so that they weren't on the back foot.

이 일이 일어나는 동안, 우리는 스트리머들이 이 느린 대기열을 통과할 수 있도록 허락하는 아주 큰 무례한 행동을 저질렀습니다. 뒷이야기를 말씀드리자면, 최근 우리는 보수를 지급하는 인플루언서 마케팅을 좀 하고 있었고, 이 마케팅은 스트리머들이 돈을 받고 패스 오브 엑자일을 시청자들에게 광고(showcase)하는 것이었습니다. 우린 그들에게 2시간 방송에 대해 보수를 지불하기로 했는데, 앞으로 2시간 동안 대기열만 봐야 하는 상황이 생겼습니다. 이 문제는 거의 그 돈에다가 불을 질러버리는 것이나 다름이 없었습니다. 그래서 좀 급하게 스트리머들이 대기열을 통과할 수 있도록 하는 결정을 내렸습니다. 대부분의 스트리머들은 이것을 요구하지 않았고, 따라서 그들에게 책임은 없습니다. 이 마케팅과 관계 없는 스트리머들에게도 대기열을 통과할 수 있게끔 했기 때문에, 그들이 뒷거래를 하거나 그런 것은 아닙니다.

The decision to allow any streamers to bypass the queue was clearly a mistake. Instead of offering viewers something to watch while they waited, it offended all of our players who were eager to get into the game and weren't able to, while instead having to watch others enjoy that freedom. It's completely understandable that many players were unhappy about this. We tell people that Path of Exile league starts are a fair playing field for everyone, and we need to actually make sure that is the reality.

스트리머들이 대기열을 통과할 수 있도록 한 결정은 명백한 잘못이었습니다. 사람들이 기다리는 동안 볼거리를 제공하는 대신, 빨리 게임에 들어가고 싶은 플레이어들에게 다른 사람들이 게임을 즐기는 모습을 보는 모욕을 주었습니다. 대부분의 유저가 이것에 대해 기분이 좋지 않은 이유를 이해하고 있습니다. 우리는 항상 패스 오브 엑자일 리그가 모두에게 공평한 전장이라는 것을 홍보하고 있고, 그걸 실제로 사실로 만들어야 하니까요.

We will not allow streamers to bypass the login queue in the future. We will instead make sure the queue works much better so that it's a fast process for everyone and is always a fair playing field. We will also plan future marketing campaigns with contingencies in mind to better handle this kind of situation in the future.

앞으로 스트리머들이 대기열을 통과하는 일은 없을 것입니다. 대신, 대기열이 더 잘 돌아가서 모두가 빨리 게임에 접속할 수 있고, 공평하게 경쟁할 수 있게 하겠습니다. 또한, 앞으로 우연한 문제들에 직면했을 때 더 잘 대응할 수 있도록 마케팅 전략을 수립하겠습니다.

It's completely understandable that many players are unhappy with how today has gone on several fronts. This post has no intention of trying to convince you to be happy with these outcomes. We simply want to provide you some insight about what happened, why it happened and what we're doing about it in the future. We're very unhappy with it too.

많은 플레이어들이 오늘 게임의 여러 측면에 일어난 일들에 대해 불만족하고 있고, 이는 당연한 것입니다. 이 글은 여러분의 기분을 좀 더 나아지게 만들거나 설득하고자 하는 의도가 없습니다. 그저 오늘 일어난 일에 대한 우리의 생각, 왜 일이 일어났는지, 또 앞으로 어떻게 하고자 하는지 전달하고 싶습니다. 우리도 마찬가지로 불만족하고 있습니다.

In the meantime, we will continue to work on fixing the technical problems with the realm servers. We're hoping for a resolution to this as soon as possible and will keep you updated through edits to this post.

그 동안에 서버와 관련된 기술적인 문제를 해결하는 것에 힘쓰겠습니다. 이 문제가 최대한 빨리 해결되기를 바라고 있고, 이 글을 수정하는 것으로 상황에 대한 업데이트를 해드리겠습니다.