디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

구글 검색 알고리즘의 원리 2

...(141.223) 2007.04.24 10:06:17
조회 898 추천 0 댓글 6


앞에서는 문서를 벡터화 하는 데 단어를 20개밖에 쓰지 않았지만,
실제로는 훨씬 많은 단어를 쓰게 돼.
목적에 따라 다르지만 내가 하는 분야에서는 적게는 3000개에서 많게는 몇만 개,
거기다 문맥을 보기 위해 bigram이니 trigram이니 하는 것까지 쓰게 되면 훨씬 커지지...

이렇게 단어가 많아지게 되면 문제가 하나 생기는데,
워낙 단어의 종류가 많다보니, 같은 주제를 다루는 문서끼리라 하더라도
이 문서에서는 많이 나오는 단어가 저 문서에서는 전혀 안나오고 하는 그런 경우가 엄청나게 많이 생겨.
즉, 같은 주제를 다루는 문서 끼리의 거리가 커지는 경향이 나타나지...

더 심각한 문제는,
워낙 단어의 종류가 많다보니, 서로 다른 주제끼리도 겹치는 단어가 많이 생기게 돼.
그러다 보니, 서로 다른 주제를 다루는 문서 끼리도 거리가 가까워질 수 있게 되지.
심지어 오히려 같은 주제를 다루는 문서들과의 거리보다 더 가까워지는데,
이런 경우가 또 엄청나게 많이 생기게 되지.

예를 들면...
요즘 최홍만이 쇼프로에 많이 나오잖아.
그래서 최홍만이 고정출연하는 방송에 관한 문서에서는 \"최홍만\" 단어의 빈도수가 높을 거고,
최홍만이 게스트로 나온 방송에 또한 어느 정도의 빈도수를 가지게 될 거야.
이번에는 K-1 관련 문서를 생각해 보자.
최홍만이 나온 경기에 관한 문서에서는 역시 최홍만 단어의 빈도수가 높겠지만,
출전하지 않은 경기에 대해서는 빈도수가 낮겠지.

이제 \"최홍만\"의 빈도수를 y축으로, \"K-1\"의 빈도수를 x축으로 해서
거기에다 연예방송과 K-1, 두 종류의 문서들을 뿌려보자.

(최홍만)
^
|o       x
|o      x
|o       x
|o      x
|o       x
|o      x
|-------------->  (K-1)

o = 연예 방송 관련 문서들 (K-1에 대한 단어가 전혀 안나타난다고 가정)
x = K-1 관련 문서들

각각의 주제가 y축을 따라 길게 늘어서게 되지.
그래서 같은 주제라고 하더라도 y축 이쪽 끝과 저쪽 끝 문서 끼리는 거리가 꽤 멀어지고,
다른 주제라고 하더라도 같은 y축상에 있는 문서끼리는 거리가 가깝고 그렇게 돼.

즉... 검색이 제대로 안되겠지.
이건 결국 우리가 정의한 \"거리\"의 개념이, 주제간의 차이를 잘 반영하지 못한다는 뜻이 되지.

이건 비단 문서 검색에만 한정된 얘기가 아니라, 이미지 검색이라든지
패턴 인식과 관련된 여러 응용 분야들에서 공통적으로 나타나는 문제점이야.

결론부터 말하면, 구글의 검색 알고리즘은 이런 문제를 어느 정도 줄일 수 있는 원리가 있었고,
그 원리가 대략 2000년경부터 최근까지 계속 연구가 되어서 하나의 이론 분야로 정립이 됐어.
그래서 그 자세한 얘기는 오후쯤에 올리도록 할께;;
결국 이번 글에서도 서론만 읊었구나

추천 비추천

0

고정닉 0

0

댓글 영역

전체 리플 0
등록순정렬 기준선택

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 거지분장이 찰떡인 스타는? 운영자 20/12/02 - -
AD [댓글 이벤트] 삼성디프 12월 고객감사전! 운영자 20/12/02 - -
공지 프로그래밍 관련 내용이 있어야 합니다. [17] 운영자 20.09.28 1792 34
1547431 인지과학대학원어디가 손발이시립니다갤로그로 이동합니다. 05:42 2 0
1547430 웹 이미지 업로드해서 랜덤으로 뿌려주는 사이트 같은거 없음? 동반꿀갤로그로 이동합니다. 05:41 5 0
1547429 인공무현 ai 배운다고 그만 까불고 이거보고 생각 잘해라 어계세키위갤로그로 이동합니다. 05:36 12 0
1547427 텐서플로우는 오픈ai가아니다 [1] 인공무현갤로그로 이동합니다. 05:31 23 0
1547426 여기 프로그램중 알맞는게 어떤걸까 ??? [3] ㅇㅇ(1.238) 05:20 32 0
1547424 인공무현 패키지 싱글 게임 하냐? 레식이런거 말고 [1] 어계세키위갤로그로 이동합니다. 05:05 18 0
1547423 php문법 대강 아는데 바로 라라벨 ㅇㅇ(115.86) 05:04 13 0
1547422 4년제 대학 졸업하고 바로 취업못하는 사람들 비율 몇%나 되냐? [2] 동반꿀갤로그로 이동합니다. 05:04 29 2
1547421 주식해보니까 창업을 보는관점이 확달라지노 [1] 인공무현갤로그로 이동합니다. 04:59 46 0
1547420 스타트업이라는게 결국 주식쇼구나 인공무현갤로그로 이동합니다. 04:57 29 0
1547419 리액트 네이티브 강좌듣고 앱 만들면서 실습 중인데 [3] ㅇㅇ(115.126) 04:51 32 0
1547418 2.프라미스 abort 많이들 함? [67] 딱국갤로그로 이동합니다. 04:48 113 0
1547417 그냥 빨리 잘걸 [1] 아무거나1234갤로그로 이동합니다. 04:36 23 0
1547416 열심히 공부하는 프갤러들을 위한 선물 [3] ㅇㅇ(115.86) 04:35 43 0
1547415 1. class vs return [1] 딱국갤로그로 이동합니다. 04:34 41 0
1547414 백단에서 데이터 관리 질문. [13] capcha_test갤로그로 이동합니다. 04:33 47 0
1547413 s3에 파일 업로드하고 나서 로그에 키 두번뜨는거 거슬리네 [3] 리삐삐갤로그로 이동합니다. 04:26 32 0
1547412 비트캠프나 삼성멀티캠이나 쌍용 이세개중한곳가면 ㅇㅇ(106.101) 04:25 20 0
1547411 업무효율을 위한 전담 뻑뻑피는 중.. 리삐삐갤로그로 이동합니다. 04:25 17 0
1547410 졸려서 미칠거같음 리삐삐갤로그로 이동합니다. 04:24 15 0
1547409 아 스트링파이해서 올리는게 맞네 리삐삐갤로그로 이동합니다. 04:22 15 0
1547407 etl 글루에서 할 예정이었는데 리삐삐갤로그로 이동합니다. 04:15 11 0
1547406 그래도 너무 이론만 하면 지칠거같음 sfdsa갤로그로 이동합니다. 04:15 19 0
1547405 헤으응 고3 대학 어쩌농 [2] ㅇㅇ(219.254) 04:14 53 0
1547404 구찮으니까 일단은 파싱해둔 s3만 쓰자 ㅇ.ㅇ.. 리삐삐갤로그로 이동합니다. 04:12 13 0
1547403 요건 추가 되도 다 받아들일 수 있게 좀 카탈로그 넓게 잡을까 리삐삐갤로그로 이동합니다. 04:09 13 0
1547402 앞으로 할 예정 [2] 리삐삐갤로그로 이동합니다. 04:06 39 0
1547401 철학과도 나쁘진 않을거같아 sfdsa갤로그로 이동합니다. 04:05 23 0
1547400 아 내가 string으로 저장하고 있었네 [3] 리삐삐갤로그로 이동합니다. 04:05 32 0
1547399 본인 지잡대 소프트웨어학과 학생인데 [4] ㅇㅇ(211.171) 04:03 47 0
1547398 AVL 트리 O(logN)에 동작하도록 개선했다 [7] ㄱㄹ갤로그로 이동합니다. 03:58 59 0
1547396 수학과도 재밌어보이는거 많음 sfdsa갤로그로 이동합니다. 03:56 25 0
1547395 웹은 아직 개발진행형인 거 같음 redux도 다음 세대에 교체될 듯 [12] 나트륨찡갤로그로 이동합니다. 03:38 72 0
1547393 밑글 사진 안올라가는데 비밀번호 까먹어서 사진첨부 ㅁㄹㅇㅁ(119.203) 03:35 44 0
1547392 야 리액트판에 퍼블리셔 생존하냐?? ㅇㅇ(118.235) 03:34 27 0
1547390 이거 오류 왜뜨는거냐? [1] ㅁㄹㅇㅁ(119.203) 03:32 21 0
1547389 국비중인데 강사 ㅈ같다 (국비 50일째) [6] ㅇㅇ(218.157) 03:31 60 1
1547387 오늘 한 일, 할일 ㅇㅇ(39.119) 03:30 16 0
1547386 redshift 처음으로 만들예정.. 리삐삐갤로그로 이동합니다. 03:28 20 0
1547385 저 포인터 관련 질문이요 ㅇㅇ(39.7) 03:27 22 0
1547384 아니 aws glue 이넘 도통 모르것메 [3] 리삐삐갤로그로 이동합니다. 03:26 31 0
1547383 디자이너랑 연애하고싶다 [2] 야근맨(220.117) 03:24 29 0
1547382 아이디어만으로 개발자 구하는애들 있더라 [5] 헬마스터갤로그로 이동합니다. 03:16 100 0
1547381 딸깜 던지고 간다 [1] ㅇㅇ(223.62) 03:16 87 0
1547380 useSelector [6] 야근맨(220.117) 03:13 52 0
1547379 인프런 파이썬 세일하는데 [1] ㅇㅇ(211.238) 03:12 175 0
1547378 react에서 redux쓰면 [6] aZe(106.250) 03:11 65 0
1547377 빌드는 esbuild 야근맨(220.117) 03:10 22 0
1547376 나도 리덕스싫어 빨리 새로운거 쓰고싶다 [12] 야근맨(220.117) 03:09 53 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

힛(HIT)NEW

그때 그 힛

1/3