형아는 요즘 콜라를 존나게 마셔서 콜라 중독은 안걸린다.

왜냐면 가끔 팹시와 콜라를 섞어서 먹지 않기 때문이다.



요즘 킹왕짱 파일시스템을 테스트의 경지에서 예술의 경지로 끌어 올리고 있다.

백업 전략을 제외하고는 왠만한 대용량 스토리지 시스템이랑 비교해도 절대 후달리지 않게 만들고 있다.

기본적으로 물리적인 분산 스토리지를 막 쳐 붙이면 논리적인 스토리지에 무한 용량 추가가 된다.

분산된 파일을 관리하는 인덱싱 서버가 모든 스토리지를 관장한다.

물론 인덱싱 서버 역시 레플리케이션 부하분산이 용이하도록 설계했다.

하드를 붙이던 서버를 늘리던 그건 중요한게 아니다. 인터넷 접속하는 방법이 있는 모든 컴퓨터의 하드는

로컬네트웍이던 외부 네트워크던 가리지 않는다. 걍 존나게 늘리는거다.

수많은 물리적인 스토리지를 갈아서 하나의 거대한 논리적인 디렉토리가 생성되는거다.

묻지마 쥬크박스에는 네이버 블로그에 올라와 있는 거의 모든 음악 파일(67만개) 들이 다 크롤링 되어서 이 파일 시스템에 저장되어 있는것이다.

하지만 형아는 그 음악 파일들의 내용을 모른다. 모두다 저작권이 없고 개인적인 음악들만 있을거라고 강력하게 믿고 있다.





인터넷 파일들은 정말 중복도가 너무나 높다.

초기에 인터넷 사진이나 음악을 크롤했을때 형아는 그 미친듯한 중복도에 몹시 화가난 생태였다.

그래서 생각했던게 어떻게 하면 이 중복된 파일들에 대해 스토리지용량을 줄일수 있을까 였다.

개나 소나 알듯이 중복 파일은 제거 하면 되는것이다.


하지만 어떻게 중복 파일을 제거 할거냐가 문제다. 파일마다 해시를 구해서 인덱스를 먹이면 된다고 하는데.

이걸 해결 하기 위해 해시를 사용하는데 두가지 문제가 있다.

큰수에 대한 중복없는 해시가 필요하고

대용량 파일에 대한 빠른 해시가 필요하다는것이다.

1기가나 2기가되는 파일들의 해시를  마치 문자열 몇줄 찾는것과 같이 빠르게 구할수 있는 방법을 형아는 존나게 연구해서 개발했다.

미디어 파일들은 특히 용량 변화 없이 중간에 메타 정보들이 임의로 약간 바껴서 서로 다른 파일들로 해시가 나올수도 있고
그 위치가 각각이라서 풀 해싱을 하지 않고는 이 문제를 해결 할 수 없다.
그리고 해시 알고리즘이 변경되면 모든 인덱싱을 다시 해야 하기 때문에 한번 결정된 알고리즘은 변하면 안된다...

이 해싱 알고리즘은 예전에 원더걸스 소녀시대 배틀사이트에 사용되었던 해싱 함수를 약간 업글해서 만들어진것이다.


하여튼 이 묻지마 해싱으로 각각의 파일은 아이디를 받게 되고 아이디 체크를 통해서 파일은 중복없이 각각의 분산 스토리지에 램덤으로 분산 저장하게 되고 저장된 인덱스는 인덱스 서버에 저장이 된다.



그리고 파일 중복도 정도에 따라서 파일이 자동 레플리케이션되어서 다른 서버 다른 하드들에 복사 되어 진다.
그리고 중복도가 낮아지면 다시 적절하게 조절해서 줄어들고...
예를 들어서 중첩이 100회 이상이면 2개의 서버에 복사본이 생성되고 이런식이다. 왜냐면 부하 분산을 위해서 그렇다.


거대한 스토리지 풀과 풀의 인덱스서버 어떻게 보면 네이버 OwFS 랑 비슷한 개념이라고 생각 할 수도 있겠지만..

네이버 OsFS는 형아가 봤을때는 아직 뉴비 단계의 시스템이고 좀더 튜닝이 필요한 시스템인거 같다.

비교하지 말았으면 한다.





형아는 묻지마 파일시스템을 백업 솔루션이 완성되는 대로  대용량 스토리지 서비스를 해볼 생각이다.

백업은 어떻게 보면 장애확율과 스토리지 낭비의 딜레마의 중간에 있는것 같다.

만약 장애가 나지 않는다면 백업 시스템은 엄청난 낭비를 의미하는것이고...

그렇다고 장애가 모든 곳에 동시에 나지는 않을것이다.

단지 우리는 그 장애를 예측하지 못하기 때문에 많은 자원을 낭비하고 있는것이다.

장애 예측과 백업 스토리지 용량산정의 딜레마 극복을 위해서 형아는 오늘도 콜라를 마신다.