디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

구글 검색 알고리즘의 원리 2

...(141.223) 2007.04.24 10:06:17
조회 897 추천 0 댓글 6


앞에서는 문서를 벡터화 하는 데 단어를 20개밖에 쓰지 않았지만,
실제로는 훨씬 많은 단어를 쓰게 돼.
목적에 따라 다르지만 내가 하는 분야에서는 적게는 3000개에서 많게는 몇만 개,
거기다 문맥을 보기 위해 bigram이니 trigram이니 하는 것까지 쓰게 되면 훨씬 커지지...

이렇게 단어가 많아지게 되면 문제가 하나 생기는데,
워낙 단어의 종류가 많다보니, 같은 주제를 다루는 문서끼리라 하더라도
이 문서에서는 많이 나오는 단어가 저 문서에서는 전혀 안나오고 하는 그런 경우가 엄청나게 많이 생겨.
즉, 같은 주제를 다루는 문서 끼리의 거리가 커지는 경향이 나타나지...

더 심각한 문제는,
워낙 단어의 종류가 많다보니, 서로 다른 주제끼리도 겹치는 단어가 많이 생기게 돼.
그러다 보니, 서로 다른 주제를 다루는 문서 끼리도 거리가 가까워질 수 있게 되지.
심지어 오히려 같은 주제를 다루는 문서들과의 거리보다 더 가까워지는데,
이런 경우가 또 엄청나게 많이 생기게 되지.

예를 들면...
요즘 최홍만이 쇼프로에 많이 나오잖아.
그래서 최홍만이 고정출연하는 방송에 관한 문서에서는 \"최홍만\" 단어의 빈도수가 높을 거고,
최홍만이 게스트로 나온 방송에 또한 어느 정도의 빈도수를 가지게 될 거야.
이번에는 K-1 관련 문서를 생각해 보자.
최홍만이 나온 경기에 관한 문서에서는 역시 최홍만 단어의 빈도수가 높겠지만,
출전하지 않은 경기에 대해서는 빈도수가 낮겠지.

이제 \"최홍만\"의 빈도수를 y축으로, \"K-1\"의 빈도수를 x축으로 해서
거기에다 연예방송과 K-1, 두 종류의 문서들을 뿌려보자.

(최홍만)
^
|o       x
|o      x
|o       x
|o      x
|o       x
|o      x
|-------------->  (K-1)

o = 연예 방송 관련 문서들 (K-1에 대한 단어가 전혀 안나타난다고 가정)
x = K-1 관련 문서들

각각의 주제가 y축을 따라 길게 늘어서게 되지.
그래서 같은 주제라고 하더라도 y축 이쪽 끝과 저쪽 끝 문서 끼리는 거리가 꽤 멀어지고,
다른 주제라고 하더라도 같은 y축상에 있는 문서끼리는 거리가 가깝고 그렇게 돼.

즉... 검색이 제대로 안되겠지.
이건 결국 우리가 정의한 \"거리\"의 개념이, 주제간의 차이를 잘 반영하지 못한다는 뜻이 되지.

이건 비단 문서 검색에만 한정된 얘기가 아니라, 이미지 검색이라든지
패턴 인식과 관련된 여러 응용 분야들에서 공통적으로 나타나는 문제점이야.

결론부터 말하면, 구글의 검색 알고리즘은 이런 문제를 어느 정도 줄일 수 있는 원리가 있었고,
그 원리가 대략 2000년경부터 최근까지 계속 연구가 되어서 하나의 이론 분야로 정립이 됐어.
그래서 그 자세한 얘기는 오후쯤에 올리도록 할께;;
결국 이번 글에서도 서론만 읊었구나

추천 비추천

0

고정닉 0

0

댓글 영역

전체 리플 0
등록순정렬 기준선택

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 환불하러 갔다가 물건 더 사올 것 같은 순둥이 스타는? 운영자 20/10/27 - -
AD [삼성 디지털프라자] 가전을 나답게 BESPOKE&그랑데AI 운영자 20/10/23 - -
공지 프로그래밍 관련 내용이 있어야 합니다. [14] 운영자 20.09.28 898 18
1509253 string 클래스 하나 만드는데 2시간 걸리네.. [2] 뭐하냐지금갤로그로 이동합니다. 05:36 17 0
1509252 생활코딩 html 보는데 실습은 뭘로 해야함? [4] ㅇㅇ(125.189) 05:30 19 1
1509251 인덱스 거는 방법론적인 원ㄹ도 모르는게 뭔 풀스택이냨ㅋㅋㅋㅋㅋㅋㅋㅋ 솔직맨갤로그로 이동합니다. 05:24 15 2
1509250 풀스택의 상위호환은 아키텍쳐임 솔직맨갤로그로 이동합니다. 05:23 14 1
1509249 이제는 페북에 이어 kt마저 위키추상화갤로그로 이동합니다. 05:16 17 0
1509246 얘들아 난 페북으로 간다 [1] 위키추상화갤로그로 이동합니다. 04:33 42 0
1509245 서른다섯번째 문제 최소힙 파이썬4주완성갤로그로 이동합니다. 04:18 36 0
1509244 풀스택 다음 스텝은 뭐냐? [3] ㅇㅇ(124.44) 04:09 41 0
1509243 오늘 집합론이랑 일반물리복습마무리하고... 영어 소설 읽던거마무리하고.. 인공무현갤로그로 이동합니다. 04:07 24 0
1509242 헤르미온느 따먹은 네빌롱바텀 근황.jpg 동반꿀갤로그로 이동합니다. 04:04 53 2
1509241 리액트 네이티브를 이용한 특강에 참여하게됐는데요 ㅇㅇ(125.189) 04:03 15 0
1509240 혹시 S3 서울리전에 야짤 올리면 불법인거 아냐???? [4] ㅇㅇ(117.111) 03:51 55 0
1509239 서른네번째 문제 아나그램 파이썬4주완성갤로그로 이동합니다. 03:49 23 0
1509237 아 좀 한번에 연락 좀 하지말고 ㅇㅇ(61.40) 03:48 15 0
1509236 학교 과제땜시 리눅스에서 어셈으로 코딩하는데 [2] dd(61.77) 03:45 45 0
1509235 구글 아이콘 바뀐 거 나만 마음에 들어하나? [1] ㅇㅇ(14.63) 03:41 35 0
1509234 아이폰은 어플내 폴더 접근할수없음? ㅅㅂ 각성피에로(110.47) 03:41 29 0
1509233 커뮤니티 사이트의 게시판 보드 디자인 관련 [1] 허헉(123.142) 03:40 38 0
1509232 어플 3개 개발한 회사 vs 이제 막 시작한 [14] ㅇㅇ(61.40) 03:38 58 0
1509231 축구나 해외야구 api 어디가 젤 좋음? ㅁㄴㅇㅁㄴㅇ(106.242) 03:31 13 0
1509230 느긋하게 공부나 좀 하고 싶다. [3] 솨르(58.87) 03:30 38 0
1509229 솨르좌 / 와 이런 버전도 잇구나 나트륨찡갤로그로 이동합니다. 03:30 26 0
1509228 솨르좌 / 와 이런 그림도 잇구나 ㅇㅅㅇ [4] 나트륨찡갤로그로 이동합니다. 03:26 46 0
1509226 솨르좌 / ㅓㅜㅑ [6] 나트륨찡갤로그로 이동합니다. 03:21 65 0
1509225 님들 졸작 안드로이드어플 만드는데 질문좀용 [4] ㅇㅇ(119.194) 03:16 52 0
1509224 정선호-비주얼베이직2015 책 있는친구...? 완전급함(180.69) 03:14 15 0
1509223 내 클론코딩 필기 수준 이정도면 ㅇㅈ? [9] 솨르(58.87) 03:13 85 0
1509222 ffmpeg 잘알있음? ㅇㅇ(175.196) 03:12 29 0
1509221 아니 이새끼들 기술 스택쓰는거 다 사기네?? [5] ㅇㅇ(61.109) 03:07 61 0
1509220 LOC(코드수) 는 말 그대로 코드 라인수를 말하는 것 [3] 루비(118.216) 03:01 40 0
1509219 개 좆박았다ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [3] 솔직맨갤로그로 이동합니다. 02:59 46 0
1509218 솔직히 인공지능 [1] ㅇㅇ(118.235) 02:55 31 1
1509217 어제 이번주에 신입왔는데 이새끼 [4] ㅇㅇ(59.14) 02:50 62 0
1509216 크리스마스 하면 이마트만 생각나 ㅇㅇ(218.54) 02:46 18 0
1509215 곧크리스마스니 스노우효과만들가 [2] 피에로는배달원갤로그로 이동합니다. 02:42 32 0
1509214 자야지 슬슬 [1] ㅇㅇ(218.54) 02:41 16 0
1509212 와 스프링 개좆같다. 왜케 어렵냐 ㅇㅇ(121.130) 02:39 20 0
1509211 국비충만 몰래 들어와봐 [1] ㅇㅇ(223.62) 02:39 28 0
1509210 대체 이게 뭔 뜻이다냐 ㅇㅇ(124.51) 02:37 28 0
1509209 구글캘린더 아이콘도 바꿔버렸노 헬마스터갤로그로 이동합니다. 02:35 32 0
1509207 본인 입갤함 [3] 솔직맨갤로그로 이동합니다. 02:22 48 0
1509206 백준 이거 node js readFileSync 머임 [4] 솨르(58.87) 02:21 51 0
1509205 내가 싫어하는 부류 [4] 산기대17세갤로그로 이동합니다. 02:20 74 0
1509204 아무리 생각해도 구글이 짱이다 나트륨찡갤로그로 이동합니다. 02:20 26 0
1509203 c 코딩 질문 받아주시나여 [11] ㅇㅇ(110.13) 02:19 61 0
1509201 과제 우액 [1] 저기,,갤로그로 이동합니다. 02:17 26 0
1509200 구글 음모론 고급정보 검색 잘 안댐 ㅇㅅㅇ 나트륨찡갤로그로 이동합니다. 02:16 26 0
1509199 방금 외주요청 들어옴 Python갤로그로 이동합니다. 02:16 25 0
1509198 나는 컴활을 왜 붙들고있는것인가 ㅇㅇ(220.82) 02:15 24 0
갤러리 내부 검색
전체게시물 정렬 옵션

오른쪽 컨텐츠 영역

이슈줌NEW

1/6

힛(HIT)NEW

그때 그 힛

1/3