TNF : Tatter Network Foundation forum - 연관성 있는 태그

RSS 답글: 연관성 있는 태그

null@example.com (inureyes) — Mon, 17 Apr 2006 16:35:08 +0000

Peris 작성:

inureyes 작성:
한국어에서의 자연어 처리는 컴퓨터 공학의 영원한 숙제입니다.
총대 메실분~?
과연 이걸 혼자서 총대 메서 언제 끝날까요.;;;

...자연어 검색 시스템으로 생각하면 복잡한데, 단순화 시킬 수 있지 않을까? 하다가 얻은 아이디어가 있습니다.

꼭 형태소 분석을 통한 유사성 분석을 통하지 않더라도, 간단하게 하려면 비슷한 부분이 겹치는 순서대로 정렬하면 되지 않을까 했는데, 이건 로드가 좀 있군요. 대략 O(n^2)의 process time이 걸립니다. (태그가 n개면 n의 제곱개 만큼을 계산해야 한다는 의미입니다.)

아래는 이상한 소리입니다. 혹시 어쩌다가 이 글을 보게 되신 분들은 저거 뭐야! 하시고 요 아랫 부분을 안 읽으셔도 됩니다 ㅠ_ㅠ
(박스로 묶어 버릴게요.)

단어들의 set으로 n x n 문자열 행렬을 만든 다음에, 유사성에 관한 식을 주고 GJ elimination을 한 후, eigenvalue problem으로 생각하고 계산하면 degenerated matrix의 set들을 얻을 수 있을겁니다. 그러면 그 matrix set들이 유사성을 지닌 단어들의 모임이 될 것이고, 그것들을 모아서 차례로 출력하면 됩니다.
그런데 구현의 문제점이라면, GJ elimination을 하는 과정을 제외해도, eigenvalue problem의 계산이 이론적으로 O(tN^2)이 됩니다. 출력할 때 마다 계산하면 로드의 문제가 있겠죠. 그리고 t 자체는 문자열의 지수함수에 비례하여 증가할 것으로 생각되기 때문에 크게 증가하지는 않겠지만, 적어도 4~5 step은 계산해야 합니다.
이걸 php로 구현하면 퍼포먼스가 받쳐 줄까요?
그리고 결정적으로 전 php에서 nxn string matrix를 구현할 수 있는지 없는지를 잘 모릅니다;;; 아직 익숙한 언어가 아니거든요ㅠ_ㅠ

RSS 답글: 연관성 있는 태그

null@example.com (Peris) — Sat, 15 Apr 2006 12:39:31 +0000

inureyes 작성:

한국어에서의 자연어 처리는 컴퓨터 공학의 영원한 숙제입니다.
총대 메실분~?

과연 이걸 혼자서 총대 메서 언제 끝날까요.;;;

RSS 답글: 연관성 있는 태그

null@example.com (inureyes) — Sat, 15 Apr 2006 12:04:21 +0000

한국어에서의 자연어 처리는 컴퓨터 공학의 영원한 숙제입니다.

총대 메실분~?

RSS 답글: 연관성 있는 태그

null@example.com (Peris) — Sat, 15 Apr 2006 11:44:29 +0000

이제야 이해가 됐습니다.;

Computer를 클릭한 경우에 Computer Programming과 Computer Game을 뿌려주는거야 어려울게 없지만,
Computer Programming을 클릭했을 때 Computer Game까지 뿌려줄려면 여러가지로 복잡해질거 같네요.
(한글이라면 더더욱)

RSS 답글: 연관성 있는 태그

null@example.com (JWC) — Sat, 15 Apr 2006 11:31:10 +0000

Peris 작성:

제가 이해를 잘못해서 그러는데..;; 어디에 어떻게 뿌린다는 것인가요?;
태그 자동완성을 할 경우 그런 것들은 다 보여질거 같은데요.
(저만 이해가 안되는건가요. -_-;; )

지금은 Computer란 태그를 클릭하면 Computer란 태그가 정의된 글만 뿌려지자나요.
이제는 연관성 있는 태그도 같이 뿌려 주자는거죠.

RSS 답글: 연관성 있는 태그

null@example.com (Peris) — Sat, 15 Apr 2006 11:28:27 +0000

제가 이해를 잘못해서 그러는데..;; 어디에 어떻게 뿌린다는 것인가요?;
태그 자동완성을 할 경우 그런 것들은 다 보여질거 같은데요.
(저만 이해가 안되는건가요. -_-;; )

연관성 있는 태그

null@example.com (JWC) — Sat, 15 Apr 2006 10:31:51 +0000

연관성이 있는 태그는 같이 모아서 뿌려주는건 어떨까요?

예를 들자면

Windows Server 태그와
Windows Server 2003 태그는 연관성 있는 태그로 인식해서 둘중 한개를 클릭하더라도 같은 내용을 볼 수 있도록 말이죠.

예를 더 들자면,

Computer 태그와
Computer Programming 태그.
또, Computer Game 태그..

눈치 빠른 분들은 아시겠지만, 같은 단어가 들어가는 경우 연관성 있는 태그가 되겠죠.
뭐, 예외의 경우도 있을 수 있겠지만, 꽤 효율적인 방식이라고 생각합니다.