색인, 하이퍼텍스트 및 월드와이드웹

원명은 IN SEARCh OF THE UNKNOWN USER: INDEXING, HYPERTEXT AND THE WORLD WIDE WEB이며, Journal of Documentation. vol. 54. no. 1. January 1998. pp. 28-47에 게재되어 있다. 저자(David Ellis, Nigel Ford, Jonathan Furner)로부터 허락을 받고 번역하였으며, 부제를 제목으로 하였다. 용어 가운데 번역하면 의미가 잘 통하지 않는 것은 발음을 한글로 표기하거나 영문 그대로 표기하였다.

 

  목 차
 

  1. 정보검색분야

  2. 전통적인 IR 시스템의 색인

  3. 색인과 하이퍼텍스트

  4. 색인과 인터넷

  5. 결론

 

 

1. 정보검색 분야

원하는 문헌이 수많은 장서 가운데 쉽고 효과적으로 검색되도록, 시스템 개발자는 일반적으로 다음과 같이 시스템을 구축한다.

(1) 데이터베이스, 이는 개별 문헌의 전체 혹은 부분을 나타내는 레코드들로 구성된다.

(2) 검색엔진, 이는 ① 데이터베이스 내부에 있는 각각의 레코드와 질의 간의 관계를 확인하고 ② 그러한 비교에 근거하여 데이터베이스를 배열한다.

(3) 이용자 인터페이스, 이를 통하여 이용자는 ① 검색을 실행하고 ② 배열된 레코드가 화면에 나타나는 형식(디스플레이)을 조절할 수 있다.

그러한 시스템은 검색엔진이 질의와 레코드를 비교한 결과에 따라 이용자가 데이터베이스의 레코드를 고려하는 탐색이라는, 정보를 찾는 행위를 지원한다. 이에 대하여 IR 시스템 디자이너가 제시하는 대안은 문헌 간에 존재하는 어떤 관계에 따라 개별 문헌을 연속으로 검색하는 브라우징이라는, 정보를 찾는 행위를 지원한다. 도서관의 서가 위에 옆으로 배열된 책을 차례로 읽어가는 것이 브라우징의 예이며, 책 속에 있는 참고문헌이나 상호참조를 따르는 것이 탐색의 예이다. 하이퍼텍스트 시스템은 컴퓨터로 브라우징을 지원한다. 이 시스템은 이용자가 결정한 질의와 데이터베이스 내의 모든 레코드를 대조하는 방식이 아니라, 이용자가 하나의 특정한 노드를 검색하면 현재 나타난 노드와 타깃 노드 간의 링크를 활성화함으로써 결과를 연속적으로 보여준다.

IR 시스템개발자와 이용자에게 있어서 중요한 객체는 다음과 같다.

(1) 정보욕구

(2) 질의

(3) 문헌

(4) 레코드

(5) 용어

IR은 정보욕구, 이러한 욕구를 나타내는 질의, 용어로 구성되는 정보 소스, 레코드 및 문헌 간에 상호작용을 한다. 사실, 정보를 찾는 행위가 발생하는 특별한 상황은 객체의 개별 요소뿐만 아니라 요소 간의 관계도 확인함으로써 정형화할 수 있다. 그러한 관계는 다음과 같이 구분할 수 있다.

(1) 욕구-용어 (혹은 질의-용어) 관계

(2) 문헌-용어 (혹은 레코드-용어) 관계

(3) 질의-문헌 (혹은 질의-레코드) 관계

(4) 문헌-문헌 (혹은 레코드-레코드) 관계

(5) 용어-용어 관계

뒤의 세 가지 유형의 관계는 진정한 객체-객체 관계라고 할 수 있다. 이에 반하여 처음 두 가지 유형의 관계는 객체-특색 혹은 객체-속성-값이라는 관계로 구분할 수 있다. 이는 정보욕구 혹은 문헌의 의미 일부를 나타내는 데 사용되는 어떤 용어가 특정한 속성, 욕구나 문헌의 특색 또는 값이라는 의미를 가졌음을 반영한다.

IR 시스템을 구성하는 각각의 메카니즘은 그러한 관계를 확인, 비교하거나 혹은 적어도 이러한 기능이 수행되도록 지원하는 기능을 갖는다. 확인 기능은 '분석' 기능이라고 할 수 있으며, 비교 기능은 '탐구' 기능이라고 할 수 있다. 이러한 각각의 기능은 다음과 같은 에이전트를 통하여 달성된다.

(1) 사람의 힘으로, 즉 수작업으로

(2) 사람의 노력과 컴퓨터를 이용하여, 즉 반자동으로

(3) 컴퓨터를 이용하여, 즉 자동으로

다섯 가지 중요한 분석 기능은 다음과 같다.

(1) 문헌-용어 관계의 확인 즉, 레코드 생성

(2) 문헌-문헌 관계의 확인 즉, 링크 생성

(3) 욕구-용어 관계의 확인 즉, 질의 작성

(4) 질의-문헌 관계의 확인 즉, 검색

(5) 용어-용어 관계의 확인 즉, 분류

분석 기능을 수행하는 데 있어서 에이전트는 다음과 같은 여러 종류의 지식을 단독으로 혹은 조합하여 이용한다.

(1) 통계 지식 : 용어, 문헌, 검색어의 발생빈도에 대한 지식

(2) 형태 지식 : 용어와 문헌의 형태에 대한 지식

(3) 구문 지식 : 문장, 문헌, 질의 및 데이터베이스의 구문적 요소에 대한 지식

(4) 의미 지식 : 용어, 문헌 및 질의의 의미에 대한 지식

(5) 상황 지식 : 이용자와 데이터베이스 간에 발생한 상호작용의 전력에 대한 지식

시스템 용어로 말하자면, 그러한 지식은 기능에 대한 인풋을 구성한다. 이 테마는 통계적, 형태론적, 구문론적, 의미론적 그리고 실제적으로 분석 수준이 다른 인터넷 색인에 대한 최신 경향을 검토하는 제4장에서 다시 거론될 것이다.

분석 기능의 수행 결과는 각각 특별한 관계의 존재, 강도, 성격을 나타내는 객체-속성-값의 3중 집합의 디지털 혹은 비디지탈 포맷으로 저장된다. 분석 기능의 아웃풋이 저장되면 다른 분석 기능이나 탐구 기능을 수행하는 데 기본 지식으로 이용될 수 있다. 중요한 탐구 기능은 다음과 같이 두 가지가 있다.

(1) 질의-문헌 관계에 대한 탐구

(2) 문헌-문헌 관계 혹은 용어-용어 관계(즉 브라우징)에 대한 탐구

용어 간의 관계를 확인하는 기능을 가진 시소러스 구축 메카니즘은 이러한 탐구 기능을 지원할 수 있다. 질의 선정 혹은 색인을 지원하기 위하여는

(1) 용어가 문헌을 잘 나타내는지 비교하고

(2) 특정한 유형의 관계 혹은 강도가 존재하는지 확인한 후, 용어와 용어 간의 관계를 확인해야 한다.

시소러스 메카니즘은 하이퍼텍스트에서도 브라우징이나 색인을 지원해야 한다. 용어 관계가 링크의 타겟을 표시할 수 있도록 활성화되는 링크들로 표현된다면 이용자는 하이퍼 색인을 브라우즈할 수 있다.

장서의 양, 차이점, 성격이 파악되면 검색과정이 가능한 한 효과적인 방법으로 수행되어야 한다. 이렇게 효과에 대한 요구 때문에 검색 메카니즘은 문헌의 원본 자체를 다루기보다는 문헌을 표현하게 되었다. 그것들은 별개의 데이터베이스에서 생성되어 저장된다. 이렇게 문헌을 표현하는 단위를 레코드라고 하는데, 미리 규정한 필드의 구조화된 집단으로 구성되며, 각 필드는 소스 문헌의 특정 속성 값을 포함한다. 레코드에 저장되는 각 데이터의 값(속성-값 혹은 용어)은 다음의 네 가지 유형 가운데 하나이다. 처음의 세 가지는 메타데이터로서 레코드가 나타내는 문헌에 대한 데이터이다.

첫 번째, 제목, 저자, 출판사, 출판년과 출판지 등 문헌이 생성되는 상황이나 크기, 모양, 조판 혹은 색상 등의 물리적 형태를 나타내는 용어. 두 번째, 항목의 표목이나 항목 자체같이 문헌의 내용 중 특정 부분이 갖는 구조적 혹은 구문론적 역할을 표시하는 용어. 세 번째, 개념적 혹은 구문론적 내용의 일부분으로 다루어지는 주제를 나타낸다. 이 값은 단어나 구(키워드, 디스크립터, 색인어 혹은 주제 표목 등으로도 부른다) 또는 분류 코드, 요약 혹은 초록의 형태를 취한다. 이는 다음 장에서 더 자세히 다룬다. 마지막으로, 문헌의 전체 내용이나 내용의 일부를 포함하는 필드, 이는 내용을 구성하는 문자의 빈도를 비교하는 통계적 방법으로 편리하게 분석된다.

2. 전통적인 IR 시스템의 색인

문헌의 속성에 대한 값을 확인하여 구조화된 레코드 내의 필드에 지정하는 과정은 분류 혹은 목록작업이라는 인간의 노력을 통하여 수백년 동안 이루어져 왔다. 이러한 과정은 문헌에 주제를 나타내는 코드나 단어를 부여하는 색인작성이 핵심적인 활동이며, 주제나 내용을 분석하는 복잡한 일을 포함한다. 주제를 분석하기 위해서는 사전에 인정된 어떤 지식을 활용해야 하는데, 시소러스나 분류체계의 형태로 기록되는 전형적인 의미론적 지식이 특히 중요하다. 예를 들어서, 전통적인 도서관 목록이나 서지 데이터베이스에 저장된 레코드에는 주제를 나타내는 코드나 용어를 나타내는 필드가 있다. 분류자나 색인작성자에 의하여 지정된 코드나 용어는 DDC처럼 범용으로 설계되었거나 특수 분야를 위해 설계된 지식기반에서 정의된 것이다.

그런데 색인작성자가 분류를 하거나 색인을 작성하는 방법에 대해서, 혹은 색인작성자 각자가 색인어를 지정하는 과정에 대해서는 충분히 이해되지 않고 있다. 1950년대부터 현재까지 이루어진 관련 연구 가운데 실제 색인작업에서 발생하는 비일관성을 지적한 것이 많다. Doyle은 색인작성자가 용어를 선택할 때 영향을 받는 요인은 전공, 주제지식, 저자의 논의 범위라고 하였다. Chu와 O'Brien은 색인작성자가 주제를 분석할 때 영향을 받는 다섯 가지 요인을 발견하였는데, 그것의 내용은 다음과 같다.

(1) 주제 분야

(2) 본문의 사실성 혹은 주관성

(3) 본문의 주제가 갖는 복잡성

(4) 서지적인 구조의 존재

(5) 본문의 명확성

흥미로운 사실은, 주제분야에 있어서, 자연과학과 사회과학의 경우 색인작성에 큰 어려움이 없었지만 인문과학의 경우 색인작성에 어려움이 많았고 작업성과도 낮다는 것이다.

사람이 색인을 작성하는 데 문제가 많다면 색인을 자동으로 작성하는 방법에 관심을 갖게 된다. 그러나 Mandersloot, Douglas 그리고 Spicer가 지적했듯이, 사람이 작성하는 색인은 '일치하지 않는 경우가 있지만 융통성이 있고, 기계적으로 작성하는 색인은 융통성이 없다.' 더구나 색인을 어떤 방식으로 작성하든 간에 원칙적으로 색인작성자가 해야 하는 일이 무엇이냐 하는, 공통적이면서도 기본적인 문제가 남는다.

이 문제에 대하여 Fairthorne은 사서와 정보과학자에게 익숙한 색인작성 모델, 즉 문헌이 무엇에 관한 것이냐라는 관점에서 색인작성법을 자세히 점검하였다. 이 모델은 'aboutness' 모델로 명명되었으며, 색인 연구에 많은 영향을 주고 있다. 또한 정보검색을 평가하는 데 있어서 언어학적인 혹은 의미론적인 다른 방법보다 더 적절하다고 간주되고 있다. 그 모델은 다음과 같은 가정 하에 형성되었다.

(1) 문헌의 주제 내용은, 그것이 무엇에 '관한' 것이라고 표현될 수 있다.

(2) 색인작성자는 주제 내용을 단어 하나 혹은 여러 개로 요약되는지 확인할 수 있다.

(3) 질의는 대개 어떤 주제에 '관한' 문헌을 찾는 형식을 취하여, 무엇이 시스템의 색인과 '매칭'되는지 묻는다.

(4) 검색은 '매칭' 과정을 통하여 적절한 문헌들을 확인하는 것이다.

70년대에 들어 Swift, Winn 그리고 Bramer는 모델의 근거에 대하여 부정적인 평가를 하였다. 즉, 그러한 모델을 적용한 정보시스템은 문제점에 대해서 학파나 분야에 따라 의견이 다르고, 문헌을 통해 전달되는 정보의 유형이 개념적으로, 방법적으로 혹은 경험적으로 다르기 때문에 문헌 간의 중요한 차이점을 인식하지 못하는 점에서 효과적이지 못하다는 것이다. 그들은 또한 'aboutness' 모델에 따라 색인작업을 하는 사서가 이러한 방법을 잘 모르거나 문헌에 표시된 방법으로 구분하지 못한다고 주장하였다. 그리고 계속해서, 객관성을 가진 정보과학은 정보검색에 적합한 언어를 부여하며, 주제분야의 용어를 표준화한다고 주장하였다.

그들의 주장은 해당 분야의 전문가들이 관계가 밀접하지 않다고 보는 자료들에 대하여 색인작성자가 같은 주제로 분류하는 경우에서 지지된다. 예를 들면, 색인작성자가 똑같은 용어가 있는 두 개의 문헌에 대하여 같은 주제로 지정한다면 그 문헌의 차이점을 알기 어렵게 만들 수 있다. 'aboutness' 모델의 문제점을 지적한 Swift와 Watson의 비평은 색인이 여러 견해의 중요한 차이를 모두 반영해야 함을 강조하고, 색인작성을 위한 'multi-modal' 방법에 효과적인 이론적 배경을 제공하였다. 그러나 사서가 'aboutness' 모델에 대한 기술, 주제분야 용어의 표준화에 기여한 사실에 대해서는 적절하게 묘사하지 않았다.

Fairthorne은 'aboutness' 모델의 내용 분석요소에 다음의 두 가지 성격이 있다고 한다.

(1) 레코드에 기재된 것

(2) 특정 문제, 특정 이용자나 에이전트, 혹은 특정 요구에 관해 이용되는 상황

문헌이 무엇에 '관한' 것인지 결정하려면 독자가 누구이고 무엇에 관심이 있는지 알아야 한다. 색인작성 과정은 문헌의 '객관적인' 내용을 찾는 색인작성자 개인 외에도 수서, 이용자의 욕구에 관한 인식, 판단 등과 전혀 무관하지 않다. 그러한 판단은 '어떻게'에 관한 결정에만 관여하지 않고, Fairthorne이 지적하듯이, '왜' 특정 문헌에 대하여 그들이 하는 방식으로 색인을 작성하는지에 관여한다. '왜' 색인작성을 하는지에 대한 질문은 이용자 집단의 욕구와 성격에 대하여 질문과 가정을 하게 한다.

사서나 정보과학자가 정보검색을 위한 적절한 언어를 부여하거나 주제분야의 용어를 표준화하도록 유도해야 한다는 주장에도 이견이 있다. 주제분야의 용어 표준화에 대해서는 여러 주제분야의 문헌이나 논문에서 오랜 동안 다루어 왔다. Tonnies는 이러한 변화가 학자들이 근대 라틴어를 사용하지 않고 학술논문에 일상언어를 사용하였기 때문에 발생하였다고 생각하였다. Tonnies는 학자들이 근대 라틴어를 사용하면서도 비록 구두일지라도 모두에게 통하는 과학용어가 있었으며, 동시에 학계의 기술적인 표현과 일상생활의 언어 사이에는 외적인 차이점이 있었다고 생각했다.

Tonnies가 내놓은 현실적인 해결책은 공통 용어의 제정으로, 권위있는 국제기구에서 개념을 정확하게 정의하여 제의하는 것이다. 개념을 정의, 구축하고 표준화하면 그것들과 대응하는 단어가 갖는 모호함이 구분된다. 그들은 모든 언어와 사고 시스템에 적용할 수 있는 도구를 제시하려고 하였다. Tonnies는 공통 용어를 제정하려면 심리학적 개념을 위한 국제기구를 창설해야 한다고 주장하였다.

1920년대부터 여러 주제분야의 문헌에서 용어 문제와 용어의 분류에 관하여 자주 논의하였다. Thouless는 The study of scociey에서 사회과학에서 발생하는 용어 문제를 다루었는데, 전문용어나 자연어를 사용하면서 발생하는 문제들은 과학 용어의 상대적인 'hardness' 때문이라고 가정한다.

용어의 'hardness'라는 의미는 특히 비유보다는 분석 도구로써 아이디어를 채용하는 것이라면 조심스럽게 다루어야 한다. 예를 들면, 정보과학에 대하여 Averystwyth 색인어 테스트를 수행하는 연구자들이 정보과학을 'soft'한 주제로 간주하였다. 그런데 그 연구의 보고서는 용어의 정확한 개념에 대하여 아무런 정의를 하지 않았으며, 'hard'한 다른 주제에 비해 정보과학의 용어가 정확성이 부족하다는 것을 입증하지도 않았다. 한편으로는, 용어의 일치에 근거하여 정보과학은 공기역학보다 'harder'하게 되었다.

사서는 초기에 용어 문제를 논의하거나 용어의 표준을 요구하는 데 있어서 별다른 공헌을 하지 못했다. 이러한 현상의 원인은 사서가 1870년대에 Dewey와 Cutter가 만든 틀을 1950년대까지 잘 사용해 왔기 때문인 듯하다. 이러한 틀은 모두 개념에 근거한 시스템이다. 저자가 제목에 사용한 단어들이 충분하지 않았기 때문에 두 시스템은 저자들이 사용한 특정 단어보다는 구상이나 개념에 근거하였다. 이러한 구상에 따른 구조가 있으며, 분류표 혹은 주제표목은 그 구조를 반영해야 하며, 분류 혹은 주제목록에의 기입은 문헌의 내용을 요약한다고 가정한 것이다. 그리고 사서와 정보제공자가 용어 문제에 관심을 보이기 시작한 이유는 학술적인 커뮤니케이션을 조장하기 위하여 주제분야의 용어를 표준화하려고 했던 초기의 관심과는 다른 어려움과 관심이 있었기 때문이다.

그러한 관심은 Dewey와 LC 주제어 표목 같은 전통적인 분류 및 색인 시스템이 증폭하는 과학기술 정보를 다루기에는 불충분하다는 인식이 확산되면서, 그리고 자연어에 근거한 대안이 갖는 문제 때문에 발생하였다. Taube가 개발한 후조합 단일어 시스템같이 자연어에 근거한 단일어 탐색시스템은 탐색자에게 많은 어려움을 주었다. 동의어와 동형이의어, 단어 간의 모호한 관계, 관점차이 등으로 문제가 발생하였다. 검색상의 문제를 해결하기 위하여 리터러리 시소러스를 정보검색용으로 사용하는 방법이 제기되었다.

정보검색에서 시소러스의 사용은 한 분야의 용어를 표준화한다는 것을 의미하지는 않는다. 설계가 잘 되었는지 그 분야의 문헌으로부터 보장받아야 하며, 이용자 집단이 사용하는 그 분야의 용어를 반영해야 한다. 정보검색시스템의 어휘를 통제하기 위하여 실제로 사용된 시소러스는 Du Pont 회사에 의하여 1959년에 처음으로 개발되었다. 그것은 용어를 표준화하기 위한 장치라기보다는 정보시스템에서 단어 리스트를 확실히 통제하기 위한 수단으로 의도되었다. Mandersloot, Douglas 그리고 Spicer는 이 차이를 다음과 같이 간결하게 표현하였다. "단어 리스트 통제는 색인작성자가 선정한 용어가 조합색인 시스템 혹은 파일과 일치하도록 하는 데 그리고 필요한 모든 상호참조를 제공하는 데 필요하다. 따라서 단어 리스트 통제는 용어의 표준화가 아니며, 오히려 과학자가 매우 다양한 용어를 종종 느슨하게 사용하는 실제 상황을 대처한다."

얄誙게도 시스템의 용어를 통제하기 위하여 혹은 시스템을 탐색하는 용어를 선정하기 위한 '시소러스' 개념에 다른 많은 해석이 가해졌다. 1960년대 말에는 Fairthorne이 논평하기를, '시소러스' 용어가 거의 정신 못차리게 얻어맞았다고 할 정도였다. 그러나 Freedman이 말했듯이, 비록 용어가 정신 못차리게 얻어맞았음에도 불구하고 Vickery가 1960에 확인한 원래의 의미에 더해진 것은 많지 않다. Vickery는 검색이라는 맥락에서 '시소러스' 용어 사용법을 네 가지로 확인한 후, 이를 다음의 두 가지 핵심적인 의미로 요약할 수 있다고 주장하였다.

(1) 자연어인 텍스트 단어를 조작된 언어인 키워드와 연결시키는 도구이다.

(2) 단어 간의 관계를 나타내는 선형 리스트를 의미한다.

키워드와 텍스트 단어 간에 구분이 이루어지든 않든 간에 시소러스는 단순히 단어 간의 관계를 나타내는 선형 단어 리스트일 뿐이다. 키워드와 텍스트 단어 간에 구분이 이루어지는 경우, 시소러스는 색인작성자와 탐색자를 텍스트 단어나 탐색 단어로부터 키워드로 유도한다. 텍스트 단어와 키워드 간의 구별이 이루어지지 않는 경우, 시소러스는 탐색자가 특정 탐색에 필요한 용어를 찾는 데 도움을 주는 목적이 있다. 어떤 경우이든 통제된 어휘에 대한 '보증'은 이용자 자신이 해야 하며, 통제의 범위는 탐색자가 자연어와 비통제된 어휘를 사용하는 데에서 느끼는 어려움의 정도에 의해 결정되어야 한다. 색인작성을 위해 통제된 어휘를 구축하는 데 있어서 핵심적인 문제는 첫째, 시스템의 기입 어휘가 필드에 얼마나 반영되느냐, 두번째, 이용자가 비통제 언어에 익숙한 관계와 차이점을 색인 어휘가 얼마나 통합하고 확인하느냐에 있다.

'aboutness' 색인 모델의 개념을 뒷받침하는 가정, 검색 시소러스의 발전 뒤에 있는 가정을 검토하면, 색인작성자와 이용자의 인식이 높은 수준으로 일치해야 전통적인 검색의 상호작용이 이루어진다. 색인은 어떤 '객관적인' 내용을 증류할 뿐이라기보다는 이용자의 잠재적인 관심, 정보의 배열, 데이터베이스의 전체 수서정책에 관한 가정의 프레임워크에서 작성된다. 다른 말로, 정보검색을 위한 전통적인 색인작성법은 색인작성자와 이용자가 갖는 개념 간의 밀접한 정도에, 그리고 색인작성 과정 자체의 성격에 관한 가정의 어떤 공통된 프레임워크에 근거한다. 이 테마는 5장에서 다시 다루기로 한다.

3. 색인과 하이퍼텍스트

지금까지 전통적으로 질의 혹은 키워드 방식의 IR 시스템을 중심으로 색인을 논했다. 3장에서는 하이퍼텍스트 혹은 하이퍼미디어 시스템으로 알려진 IR 시스템을 위한 색인에 대하여 살피기로 한다. 하이퍼텍스트와 색인을 같이 연구하는 목적은 링크 생성, 질의어 설정, 검색, 분류, 탐색과 브라우징 등의 다섯 가지 과정이 자동으로 이루어지거나 이를 돕는 메카니즘의 기능을 완전히 만드는 데 있다.

하이퍼텍스트 데이터베이스의 구조 모델과 텍스트 데이터베이스의 구조 모델은 각각 레코드의 집합을 구성한다는 제한된 의미에서 직접 비교될 수 있다. 그런데 하이퍼텍스트 데이터베이스에서는 그러한 레코드들을 '노드'라고 부른다. 노드의 내용이 필드로 구조화되는 정도는 다르지만, 문헌의 전체 내용을 담는 중요한 필드는 (예를 들면, 월드와이드웹의 노드처럼) 공통적이다. 하이퍼텍스트의 노드에 대한 '메타데이터'를 지정하는 기술은 공통적인 것이 많으며, 이러한 분석적인 기능이 만들어지면 아래에서 논의하게 될 다른 기능이 수행되는 데 도움이 될 것이다.

전형적인 IR 시스템에서는 레코드들이 저장되면 검색 메카니즘에 의해 서로 독립적으로 고려된다. 그러나 한 문헌은 다른 문헌들과 여러 면에서 관련을 갖고 있으며, 문헌 간의 이러한 관계는 색인작업중 유사한 용어들을 사용하여 내부적으로만 기록된다. 그러한 관계는, 문헌 간의 유사한 값을 산출하면서 동시에 각 레코드 내에서 색인어가 작성되는 장치가 있다면, 확인되고 이용될 수 있다.

이에 반해 하이퍼텍스트 데이터베이스에서는 문헌 간에 존재하는 많은 관계가 분명히 확인되고 '링크'로 기록된다. 사실, 두 데이터베이스 간의 기본적인 차이점은 그러한 관계가 나타내는 명확성에 있다. 하이퍼텍스트 데이터베이스는 각각 개별 객체를 나타내는 노드의 집합 외에, 각각 오리진 노드와 타겟 노드가 배열된 짝이며 객체-객체 관계를 나타내는 링크의 집합으로도 구성된다. 그것은 이용자가 탐구 과정에서 링크 생성 기능의 결과를 이용하도록 하는 데 있다.

하이퍼텍스트 시스템은 여러 면에서 차이가 있는데, 중요한 사유를 두 가지 거론한다면 다음과 같다.

(1) 링크로 나타나는 관계의 성격

(2) 그러한 관계의 존재를 확인하는 방법

노드는 그것이 나타내는 객체가 텍스트 혹은 이미지 같은 문헌인지 아니면 색인어 같은 문헌의 한 특색인지에 따라서 구분된다. 두 노드 간의 링크에 의해 나타나는 관계는 이렇게 문헌-문헌 관계, 용어-용어 관계 혹은 문헌-용어 관계의 보기가 될 수 있다. 이 장에서는 주로 첫번째 유형의 관계에 관심의 초점을 둔다.

링크는 다음을 나타낸다.

(1) 문헌이 이전에 선형적 혹은 위계적으로 배열된 순서 때문에 기인하는, 문헌 간의 구문론적 관계

(2) 문헌이 갖는 의미 혹은 주제와 관련해서 기인하는, 의미론적 관계

링크의 타겟이 오리진과 ① 순서적으로 다음 혹은 이전 노드, ② 목차이거나, 목차에서 언급한 부분의 시작, ③ 위계상으로 위 혹은 아래 수준의 노드, ④ 경로상 현재 디스플레이된 노드에 앞서 디스플레이된 노드, ⑤ 용어-용어 링크의 경우, 알파벳 순 리스트 상 다음 용어 등의 관계라면 그 링크는 구문론적인 링크로 간주된다. 링크의 타겟이 ① 오리진에서 다룬 것과 유사한 토픽의 내용, ② 오리진의 토픽을 더 자세히 확장, ③ 특정 용어에 대한 주석이나 정의, ④ 관련 도표, 그림, 비디오나 오디오 클립, ⑤ 용어-용어 링크의 경우 동의어, 관련어, 광의어 혹은 협의어 등이라면 그 링크는 의미론적 링크로 간주된다. 링크를 이렇게 간략하게 유형별로 분류할 수 있는 한편, Trigg처럼 링크를 70 개 이상의 유형으로 구분한 경우도 있다.

링크 생성 과정의 논리적 모델은 다음의 단계를 포함해야 한다. (하이퍼텍스트 데이터베이스에서는 모두가 오리진 노드로 되돌아 갈 수 있으며, 한 노드가 다른 것과 관련되는 모든 기준에 되돌아 갈 수 있다.)

(1) 오리진을 만든다.

(2) 기준을 만든다.

(3) 오리진이 데이터베이스의 다른 노드와 결합하는 모든 가능성을 고려한다.

(4) 오리진과 관련있는 타겟 노드를 선정된 기준에 따라 확인한다.

링크 생성의 기능은 전형적인 문헌 데이터베이스에서 작용하는 검색 메카니즘과 매우 유사하다. 검색 과정은 다음 단계를 포함한다. (모든 질의어를 반복할 수 있으며, 문헌이 질의어와 관련있는 모든 기준을 반복할 수 있다.)

(1) 질의를 만든다.

(2) 기준을 만든다.

(3) 질의가 데이터베이스 내의 문헌과 일치하는 모든 가능성을 고려한다.

(4) 질의와 관련있는 문헌을 선정된 기준에 따라 확인한다.

1장에서 설명했듯이, 비교와 매칭 기능을 가진 IR에 대한 인풋은 레코드-생성 혹은 색인작성 메카니즘이라는 아웃풋을 구성한다. 그것은 문헌-용어 관계를, 그리고 문헌의 특색을 나타내는 객체-속성-값의 삼중 집단을 확인한다. 즉, 링크-생성과 검색은 모두가 색인 데이터를 다루는 기능이다. 하이퍼텍스트 시스템은 링크-생성에 앞서 이루어지는 레코드-생성 과정의 성격에 따라, 그리고 링크-생성 과정 자체의 여러 가지 특성에 따라서 다음과 같이 여러 가지 면에서 더욱 구별된다.

(1) 레코드-생성

(a) 에이전트. 색인을 작성하는 에이전트는 사람이거나, 기계를 사용하는 사람, 혹은 기계이다.

(b) 인풋. 에이전트가 사용하는 용어-지식의 각 아이템은 성격상 통계적, 형태학적, 구문론적 혹은 어의적인 것이다.

(c) 아웃풋. 문헌-필드-용어의 삼중에 의해 증명되는 문헌-지식의 각 아이템은 성격상 통계적, 형태학적, 구문론적 혹은 어의적인 것이다. (각각 문헌의 내용, 형식, 구조 혹은 의미와 관련한다.)

(2) 링크-생성

(a) 에이전트. 링크-생성 기능을 수행하는 에이전트는 사람이거나, 기계를 사용하는 사람, 혹은 기계이다.

(b) 인풋. 에이전트가 사용하는 문헌-지식의 각 아이템은 성격상 통계적, 형태학적, 구문론적 혹은 어의적인 것이다.

(c) 아웃풋. 문헌-문헌의 짝으로 표시되는 각 관계는 여러 유형 가운데 하나이다.

여섯 차원 가운데 하나 혹은 그 이상과 교차하여 각자 다른, 가능한 시나리오를 가정할 수 있다. 하이퍼텍스트 시스템의 친숙한 예는 월드와이드웹이다. 이 방대한 콜렉션에 있는 하나의 문헌에서 다른 것으로의 링크는 전형적으로 다음과 같이 이루어진다.

(1) 소스 텍스트의 저자에 의하여 혹은 소스를 하이퍼텍스트로 변환한 책임자에 의하여 수작업으로 확인된다.

(2) 오리진과 후보 타겟 문헌 모두의 내용, 형식, 구조 그리고 의미에 대한 전반적인 지식에 근거하여 확인된다.

(3) 여러 유형 가운데 오리진-타겟 관계를 나타낸다.

따라서 수작업 링크-생성은 수작업 검색처럼 시간과 노력을 비교적 많이 요하며 비효과적이다.

두번째 유형의 시스템은 선형 텍스트의 본문을 개별 노드로 구분하고, 그러한 노드 간의 관계를 만드는 알고리즘의 작용이 특징이다. 그러한 시스템에서는 링크는,

(1) 자동으로 확인된다.

(2) 대개 수작업으로 생성되는 (문헌이 갖는 구조의)구문론적 지식을 바탕으로 확인된다.

(3) 구문론적 관계만을 나타낸다.

레코드-생성 과정에 아직 사람이 개입해야 하므로 비용 대 효과 면에서 노드가 적은 데이터베이스에 적용할 수 있다.

세 번째 유형의 시스템은 단순하다. 그것은 링크가,

(1) 전자동으로 확인된다.

(2) 노드 안의 용어의 발생빈도에 대한 통계적 지식에 근거하여 확인된다.

(3) 오리진-타겟의 유사성 정도를 단순히 나타낸다.

그러한 시스템이 반자동 방식일 경우 오리진 노드에 가장 유사한 것으로 확인된 타겟 노드들의 작성자와, 제시된 후보들 중 타겟 노드의 선정에 대하여도 표시한다.

어떤 방식의 시스템이든, 하나의 객체를 데이터베이스 내의 가능한 모든 타겟 객체와 비교하고, 객체-객체의 유사성 정도가 미리 정의된 절단치를 얼마나 초과하는지 관계를 확인하는 핵심과정이 있는데, 이러한 것들은 물론 전형적인 검색기술에 해당한다. 그러한 시스템 개발자들은 벡터공간모형을 사용하여 다음을 이용한다.

(1) 유사성의 정도를 측정할 수 있는 특정 공식(코사인 계수)

(2) 각 문헌에 있는 모든 용어의 발생빈도 총계에 따라, 그리고 모든 문헌에 있는 개개 용어의 발생빈도 총계에 따라 빈도를 정규화하는 용어-측정 스키마

하이퍼텍스트 분야에서 현재 진행되고 있는 많은 연구는 전통적인 IR 기술과 유사한 방법을 이용한 링크-생성을 자동과 반자동 방식으로 개발, 개선하고 있다.

네 번째 유형의 시스템에서는, 링크의 확인도 완전히 자동으로 이루어지지만 용어 빈도에 대한 통계 지식과 문헌(혹은 데이터베이스) 구조에 대한 구문 지식의 영향을 받는다. 여기서, 관련성의 정도를 측정하는 공식이 정해져 있어 데이터 색인작성뿐만 아니라 하이퍼텍스트 그래프나 네트워크 상에서 각 노드의 위치에 대한 위상 데이터도 고려한다.

전자동 링크 생성방법 가운데, 하이퍼텍스트 시스템에서 차이가 있는 차원은 (정보를 찾는 자의 탐색 시간과 관련한) 링크-생성의 시간이다. 중요한 차이는 다음에 있다.

(1) 정보를 찾는 자가 데이터베이스와의 상호작용을 시작하기 전에 적용하는 링크-생성 방법

(2) 그러한 상호작용 과정에서 정보를 찾는 개인이 내린 결정에 즉각적인 반응을 포함하는 방법

이전 유형의 방법들은 적어도 노드가 데이터베이스에 더해질 때까지 안정적이고 영구적인 링크를 갖게 되었다. 그리고 이용자가 어떤 하이퍼텍스트를 접근하든 하이퍼텍스트를 통해 어떤 길을 이미 따라왔든, 그러한 링크는 검색과정에서 어느 특정 포인트에서 개인 이용자에게 잠재적으로만 유용하다.

후자의 방법은 질의어 혹은 특정 경로, 노드의 적절성이나 유용성에 대한 피드백이나 개인적 판단 등에 따라 역동적이고 비영구적인 링크를 생성하는 데 사용된다. 링크-생성 메카니즘에서 사용되는 기본 지식은 통계 그리고/혹은 위상 데이터 뿐만 아니라 (하이퍼텍스트 네트워크에서 정보를 구하는 자의 현재 혹은 이전 포지션에 대한) 상황(시간에 종속적인) 데이터를 포함하기도 한다.

이 장에서는 하이퍼텍스트 데이터베이스에서 브라우징을 지원하기 위한 색인의 활용법을 주로 논의하였다. 그런데 앞 절에서 다룬 많은 시스템들은 하이퍼텍스트 네트워크에서 정보를 찾기 위한 통합 프레임워크를 제공하기 위하여 브라우징보다는 탐색을 지원하는 데 색인을 활용하였다. Alta Vista 같은 웹 검색 서비스에 의해 수행되는 많은 시스템들은 이용자가 수동으로 생성된 링크를 사용하여 브라우징을 계속하기 위한 출발점을 확인하는 수단으로만 질의를 지정하도록 한다. 따라서 반자동식으로 분류하는 것보다 더 자세할 것이다. 검색과 브라우징을 효과적이고 이용자 친화적으로 통합하는 것은 웹 탐색의 핵심적인 목적이다. 이제 인터넷 상에서 정보를 찾는 데 색인이 미치는 영향을 평가할 것이다.

4. 색인과 인터넷

하이퍼텍스트 링크 브라우징은 용어에 기반한 탐색과 동시에 이루어지는데, 이는 인터넷에서 정보를 검색하는 일반적인 행태이다. 사실, 인트라넷과 인터넷에서 사용되는 시스템에는 다양한 색인작성법이 채용되는데, 여기에는 다음과 같은 두드러진 많은 차이점이 있다.

4.1 데이터 표현

정보 소스에 대한 색인을 작성하는 데 사용되는 정보를 표현하는 데 있어서 의미 분석 수준은 겉에서 속까지 다를 수 있다.

단어 형태의 영분석(형태), 구문(문법) 혹은 의미론(의미) 등의 하부 형태학적 수준에서 작성된 색인은 융통성있는 검색방법을 지원한다. Excalibur의 RetrievalWare (http://www.excalib.com/)는 비트 패턴으로 정보 소스를 색인한다. 텍스트, 화상, 동영상 그리고 음향도 똑같은 표현방식으로 색인이 작성되고 검색도 된다. 신경망 패턴 인식 기술은 다른 매체까지 대상으로 하는 퍼지매칭을 가능케 한다. Yahoo는 텍스트뿐만 아니라 이미지도 검색할 수 있도록 Excalibur의 Visual RetrievalWare(http://isurf.yahoo.com/)를 통합하였다.

통계적 정보검색 기술은 키워드 역색인, 키워드 어간, 위치와 발생빈도로 정보를 표현하는데, AltaVista(http://www.altavista.digital.com/), Excite(http://www.excite.com/) 같은 검색엔진에 통합되었다. 각각의 어간은 어의적으로 관련있는 용어를 검색하는 데 사용될 수 있음에도 불구하고, 그 방식은 원칙적으로 형태적이고 통계적인 것이다. 검색은 단어의 물리적 유사성에, 문헌에 발생한 빈도에 대한 통계에 근거한다.

언어분석을 구문적이고 어의적으로 더 깊은 수준으로 시도하는 시스템이 많다. Dr-Link(http://www.mnis.net/)는 통계적이고 형태적일 뿐만 아니라 구문적, 어의적 그리고 실제적인 수준에서도 정보 소스를 분석하는, 가장 정교한 시스템 중 하나이다. 사람이 선처리한 정보를 제공하는 시스템이 증가함으로써 높은 수준의 어의분석도 가능하다. 예를 들면, Instant Search Telecoms(http://www.instant-search.com/)는 전문가들이 색인을 작성하고 점검한, 적합하고 유용한 정보를 제공한다.

탐색할 때 연속적으로 사용하기 위한 아무런 색인도 구축하지 않는, 점차 대중적인 형태의 검색 시스템을 논하는 것이 중요하다. 많은 탐색 에이전트들이 인트라넷과 인터넷 프로세싱 정보에서 방황할 수 있다. 그래서 그런 시스템들은 '지능'으로 기계 학습기술을 적용하며, 성능을 최대한으로 확장시키기 위하여 '인공생명' 기술로 복제와 활동 능력을 활발하게 조정한다.

4.2 매칭 프로세스

질의와 색인을 매칭하기 위하여 리터럴에서 퍼지에 이르기까지 다양한 기술을 채용한 시스템이 나타났다. AltaVista, Excite 같은 시스템은 키워드와 어구를 리터럴 매칭한다. 그러나 그러한 시스템도 대부분 절단, 와일드 카드 매칭 외에도 퍼지의 요소를 더하고 있다.

문헌의 텍스트에서 반드시 발견되지는 않는 디스크립터(용어 혹은 분류기호)를 지정한 경우는 리터럴 매칭의 개념과 다르다. 그러한 디스크립터는 자동으로 혹은 수작업으로 지정되든 간에 더 특정한 용어나 개념을 나타낸다. 많은 WWW 사이트는 Dewey혹은 UDC 같은 분류기호로 분류한 정보 소스를 브라우즈할 수 있도록 한다. 이러한 예에는 Napier University Library의 Internet Resource (http://www.napier.ac.uk/depts/library/intres/ ir000999.html), BUBL의 LINK Service(http://bubl.ac.uk/link/)가 해당한다. Yahoo 같은 시스템은 주제표목 리스트를 조정하여 알파벳순으로 분류한 정보 소스를 제공한다.

질의에 포함되지는 않았지만 관련이 있는 키워드를 확인할 수 있는, 개념에 기반한 탐색방법을 제공하는 시스템도 많이 있다. Muscat의 Euroferret (http://www.muscat.co.uk /euroferret/)은 다양한 질의어 확장 옵션을 제공한다. 그러한 용어들은 질의어에 포함시키거나 배제하는 데 사용된다. AltaVista에는 'Refine' 장치가 있어, 키워드 질의어에 반응하여 관련 용어를 보여준다. 이용자는 검색어를 다시 제정할 때 이를 포함시킬 것인지 배제할 것인지 정한다. 적합성은 관련된 문헌에서 단어가 동시에 발생하는지에 따라 결정된다. DrLink는 의미론적 그리고 실제적 분석을 통하여 질의어 확장을 제공한다. Excalibur의 RetrievalWare는 퍼지 신경망에 근거한 패턴 매칭 방식을 사용한다.

4.3 학습능력

많은 시스템, 특히 개인용 탐색 에이전트는 성능을 개선시키 위하여 학습기능을 어느 정도 사용한다. 그 대부분은 검색된 문헌의 적합성에 대한 이용자의 평가에 관련한 피드백을 채용한다. 학습 메카니즘은 통계적인 적합성 피드백과 인공 신경망을 포함한다. 예를 들면 More Like This (http://www.morelikethis.com/)는 통계적 적합성 피드백을 통해 검색성능을 개선한다. 이용자들은 첫 번째 탐색에서 검색된 아이템들의 적합성을 평가하고, 이 피드백을 반영하기 위하여 키워드 가중치를 조정한다. Autonomy(http://www.autonomy. co.uk/)는 인공신경망 아키텍쳐의 고유한 학습기능을 사용한다. 성능에 대한 이용자의 피드백은 에러에 대한 평가로 변환되어 질의어와 정보 소스를 나타내는 노드들 간의 링크에 지정된 가중치를 조정하는 데 사용된다.

이용자 피드백이 필요없는 기계학습의 형태는 검색에 있어서 '인공생명' 방식으로 나타난다. 검색 에이전트는 환경 피드백에 적합한지에 따라, 즉 정보 매칭 질의 검색에 그들의 생존을 건다. 이러한 의미에서, 특정 탐색을 수행하는 에이전트는 학습능력을 보이는 것이다.

4.4 구문 입력

어떤 시스템은 다양한 형태의 질의를 입력할 수 있다. 불리언 공식을 이용할 수 있는AltaVista 같은 검색엔진은 높은 수준의 언어통제를 한다. 불리언 외에 혹은 그것을 대신하여 언어통제가 필요없는, 자연어 입력 시스템도 많이 있다. 이러한 의미에서, 그것들은 검색을 '자동 파이롯트' 방식보다 높은 수준으로 수행한다.

그런데 '자동 파이롯트'을 목적으로 한 통제 차원은 보기로 질의를 하는 시스템이 되었다. 그러한 시스템은 이용자가 적절한 문헌을 확인하도록 하고, 그 문헌의 특성을 분석하여 유사한 문헌을 발견하게 한다. Muscat의 Euroferret 같은 시스템은 질의어 확장을 위한 옵션을 명확히 제공하지만, Autonomy 같은 경우는 이용자에게는 분명치 않은 기준을 채용했다. 적절성에 대한 피드백은 이용자가 검색결과의 수준을 높이기 위해서 시도하는 것이 일반적이다.

4.5 조합 탐색

전조합 검색시스템과 후조합 검색시스템은 모두 인터넷 상에서 구현되고 있다. 전조합은 도서관 분류표와 유사한 주제 메뉴를 제공하는, 디렉토리에 기반한 서비스에서 많이 사용한다. 이것의 예는 앞에서 언급한 Napier University Library의 Internet Resource와 BUBL의 LINK Service이다.

후조합 탐색은 인터넷 상의 키워드 검색엔진에서 많이 사용한다. 그런데 선조합과 후조합을 결합한 시스템도 많이 있다. 예를 들면, Yahoo는 복합 주제를 위계적으로 배열한 분류를 나타내는, 선조합 색인 용어 체인으로 후조합 키워드 탐색에 대응한다. 이용자는 이러한 기술을 결합하여 사용할 수 있다.

5. 결론

2장에서 색인작성은 '전형적인' IR의 맥락에서 판단해야 하며, 왜 색인을 작성하는가에 대한 질문은 색인을 작성하는 과정을 '어떻게'로 축소해서는 안되며 '왜' 그리고 '누구를' 위해서에 관해서도 가해져야 한다고 논했다. 이 원칙은 (1) 이용자 그룹이 관심을 가질 자료의 성질에 대한 지식, (2) 주제분야의 용어, (3) 수행하고 있는 작업, (4) 종합적인 정보욕구, (5) 데이터베이스에 대한 이용자의 인식, (6) 이용자가 경험하는 어려움의 성격 등에 적용되어야 한다.

이러한 그림은 디자이너와 잠재 이용자 간에 떨어져 있는 월드와이드웹에서 탐색을 하는 사람의 경우와 비교될 수 있다. 이는 탐색자가 여러 가지 검색엔진이 실제로 무엇을 하는지에 대하여 명확히 모르고 검색하기 때문이다. 따라서 온라인 혹은 인터넷 소스를 탐색하는 데 있어서 진정한 문제는 색인작성 기술에 있는 것이 아니라, 온라인 서비스와 월드와이드웹에서 어떤 이용자 그룹을 위하여 완전히 다른 특성과 조건을 가진 다른 이용자가 구성하고 색인을 작성한 정보에 쉽게 접속되는 데 있다.

이용자가 특성, 색인작성법과 어휘가 다른, 그 아무것도 어느 잠재 이용자나 이용자 그룹의 모든 요구를 충족시킬 수 없는 다른 많은 파일이나 사이트를 만날 때, 색인작성자-이용자 개념 매칭이라는 기존의 문제가 악화될 것이다. 데이터베이스를 구축하고 색인을 작성하는 자가 생각하는 이용자의 유형과 실제 이용자가 멀리 격리될수록, 그 데이터베이스로부터 이용자가 적절한 정보에 접근하는 데 문제가 더 많아질 것이기 때문에 이는 핵심적인 이슈이다. 결국 문제는 알려지지 않은 이용자를 위한 색인에 있는 것이다.