Syftet med denna uppsats är att beskriva och kritiskt granska ett antal evalueringar av söktjänsters återvinningseffektivitet. Denna granskning utförs utifrån följande
frågeställningar:
• Vilken typ av relevansbedömning har använts i de utvalda undersökningarna?
• Vilka kriterier har använts vid relevansbedömning?
• Vilka mått har använts?
• Hur stort antal queries har ställts?
• Hur har en query konstruerats?
• Hur högt document cut-off value (DCV) har tillämpats?
• Har man använt sig av hypotesprövning?
• Vilken typ av webbaserade söktjänster har undersökts?
Åtta stycken evalueringar har valts ut för denna studie.
Uppsatsen inleds med ett kapitel om Information Retrieval (IR). Här genomgås de grundläggande principerna bakom IR-system och dokumentåtervinning samt hur World Wide Web (WWW) har påverkat synsättet på IR som disciplin. I anslutning till detta berörs de problem som är frekvent förknippade med återvinningseffektivitet och IR på WWW. Tre klassiska IR-modeller presenteras: den booleska modellen, vektormodellen och den probabilistiska modellen.
Vidare redogörs för hur man utvärderar ett IR-systems återvinningseffektivitet. Då de flesta former av evaluering av återvinningseffektivitet sker med någon form av relevansbedömning granskas vad som ingår i begreppet relevans. Ett antal tolkningar har förekommit inom biblioteks- och informationsvetenskapen, och några av dem beskrivs kortfattat. Efter detta presenteras precision och recall, två av de mest använda effektivitetsmåtten. Måtten förklaras och några av de invändningar som förekommit i litteraturen mot att applicera dessa på mätningar av webbens återvinningseffektivitet presenteras.
Experimentmiljöerna Cranfield och TREC presenteras. Dessa har varit viktiga
utvecklingen av evalueringsmodeller av IR-system och har även haft en stor betydelse för de metoder som föreslagits för evaluering av återvinningseffektivitet på WWW.
I efterföljande kapitel beskrivs hur söktjänsterna på WWW utvecklats. De fyra olika kategorier av söktjänster som presenterats i Oppenheim, Morris och McKnights artikel beskrivs.
I kapitel 6 presenteras tidigare forskning. Här ges en kortfattad redogörelse för den litteratur som beskrivit söktjänster och en utförligare presentation av den litteratur som beskrivit evalueringar av söktjänsters återvinningseffektivitet. Här framkommer att det varit svårigheter att hitta studier av utförda evalueringar samt att de som utförts varit relativt okritiska i sin granskning.
Kapitel 7 är uppsatsens metodkapitel. Här motiveras och förklaras urvalsgrunderna för de evalueringar som skall granskas i uppsatsen. Studiens genomförande beskrivs och slutligen nämns avgränsningarna för studien.
I kapitel 8 redovisas resultaten av undersökningen. Var och en av de åtta utvalda undersökningarna presenteras och metoderna som valts för dem gås igenom grundligt, med huvudfokus på de frågeställningar som nämns i kapitel 2.
Efter denna redovisning analyseras resultaten utifrån de givna frågeställningarna. Här framkommer exempelvis att man i majoriteten av de utvalda undersökningarna valt att granska dokumentens innehåll vid relevansbedömning. Detta är förmodligen det enda sättet att göra en tillförlitlig relevansbedömning på grund av de egenskaper som präglar WWW, som exempelvis döda länkar och missvisande länkbeskrivningar.
Samtliga evalueringar använder någon form av precision och motiverar valet med att detta mått förmodligen är mer användbart och applicerbart i förhållande till recall.
Försöken att mäta recall är mer att betrakta som försök att mäta relative recall, och dessa har varit behäftade med olika brister. Samtliga evalueringar presenterar dock olika metoder att mäta precision och många av de valda metoderna påverkar och styr resultaten i allt för stor utsträckning.
Det framkommer också att det finns såväl för- som nackdelar med att utforma queries med hänsyn till varje söktjänsts unika sökfunktioner. Fördelen är att man kan mäta de olika söktjänsternas kapacitet att behandla mer avancerade queries, men i de fall då alla utvärderade söktjänster inte stödjer de funktioner man avser att pröva blir inte
jämförelserna söktjänsterna emellan rättvisande.
Det framgår också att man i samtliga evalueringar valt att undersöka
återvinningseffektiviteten hos robotdrivna söktjänster. I några fall har man dock valt att utvärdera ämneskataloger enligt samma modell och jämfört dessa med de robotdrivna söktjänsterna. Ett val som leder till orättvisa jämförelser då ämneskatalogerna är uppbyggda på annorlunda sätt.
I kapitel 10 sammanfattas de slutsatser som författaren dragit ur analysen av det undersökta materialet. Här presenteras också övriga reflektioner där problem som uppkommit under uppsatsarbetets gång berörs. Här ges också allmän kritik mot undersökningarna. Ett övergripande tema är avsaknaden av standardisering av terminologi och val av metod.
Uppsatsen avslutas med förslag till vidare forskning.
KÄLLFÖRTECKNING
Baeza-Yates, Ricardo & Ribeiro- Neto, Berthier (1999). Modern information Retrieval.
New York: ACM.
Bar-Ilan, Judit (1998). On the overlap, the precision and estimated recall of search engines: a case study of the query “Erdos”. Scientometrics 42(2), s. 207-228.
Bharat, Krishna & Broder, Andrei (1998). A technique for measuring the relative size and overlap of publicWeb search engines. Computer Networks and ISDN Systems 30, s.
379-388.
Chowdhury,G.G. (1999a). The Internet and Information retrieval research: A brief review. Journal of Documentation 55(2), s. 209-225.
Chowdhury,G.G. (1999b). Introduction to Modern Information Retrieval.London:
Library Association Publishing
Chu, Heting & Rosenthal, Marilyn (1996). Search engines for the World Wide Web: A comparative Study and Evaluation Methodology. ASIS 1996 Annual Conference Proceedings, Baltimore, MD, October 19-24, 1996, s. 127-135.
Clarke, Sarah J. & Willett, Peter (1997). Estimating the recall performance of Web search engines. Aslib Proceedings 49(7), s. 184-189.
Dezelar-Tiedmann, Christine (1997). “Known-item” searching on the World Wide Web.
Internet Reference Services Quarterly 2(1), s. 5-15.
Ding, Wei & Marchionini, Gary (1996). A comparative study of Web Search
performance. ASIS 1996 Annual Conference Proceedings, Baltimore, MD, October 19-24, 1996, s. 136-142.
Feldman, Susan (1998). Web search services in 1998: Trends and challenges. Searcher 6(6), s. 29-40.
Dong, Xiaoying & Su, Louise T. (1997) Search engines on the World Wide Web and Information Retrieval from the Internet: a review and evaluation. Online & CDROM review, 21(2), s. 67-81.
Frické, Martin (1998). Measuring recall. Journal of Information Science.24, No. 6, s. 409-417.
Gordon, Michael & Pathak, Praveen (1999). Finding information on the World Wide Web: the retrieval effectiveness of search engines. Information processing and management 35, s. 141-180.
Handbook of legal information retrieval (1984). Amsterdam: North Holland.
Harter, Stephen P. & Hert, Carol A. (1997), Evaluation of information Retrieval Systems: Approaches, Issues and Methods. Annual Review of Information Science and Technology, 32, 1997, s. 3-94.
Breimark, Pererik. & Hagman, Per D (1999). IR på webben: En undersökning av effektiviteten hos tre frågebaserade söktjänster. (Magisteruppsatser i Biblioteks-och
informationsvetenskap vid Bibliotekshögskolan/Biblioteks- och informationsvetenskap, 1999:24). Borås: Högskolan i Borås
Hassmén, Peter & Koivula, Nathalie. (1996) Variansanalys. Lund: Studentlitteratur.
Jenkins, Charlotte, Jackson, Mike, Burden, Peter, Wallis, Jon (1998). Searching the world wide web: an evaluation of available tools and methodologies. Information and Software Technology. 39, s. 985-994.
Kimmel, Stacey. (1997a) WWW search tools in reference services. The Reference Librarian. 57 (1997), s. 5-20
Kimmel, Stacey. (1997b) Robot-generated databases on the World Wide Web.
Database. October/November, s. 41-49.
Korfhage, Robert R. (1997) Information Storage and Retrieval. New York: John Wiley and Sons, Inc.
Leighton, Vernon H. & Srivastava Jaideep. (1999) First 20 Precision among World Wide Web Search Services (Search Engines). Journal of the American Society for Information Science 50(10), s. 870-881.
Mizarro, Stefano. (1997) Relevance: The whole history. Journal of the american society for information Science. 48(9), 1997, s.810-832.
Oppenheim, C., Morris, A., McKnight, C. (2000) Progress in Documentation: The Evaluation of WWW search engines. Journal of Documentation56(2), s. 190-211.
Poulter, Alan (1997). The design of World Wide Web search engines: a critical review.
Program 2, 1997, s. 131-145.
Saracevic, Tefko (1976). Relevance: a review of the literature and a framework for thinking on the notion in information science. Advances in Librarianship 6, 1976, s. 79-138.
Schwartz, Candy (1998) Web Search Engines. Journal of the american Society for Information Science.11, 1998, s. 973-982.
Text REtrieval Conference (TREC) Overview. http://trec.nist.gov/overview.html.
Besökt 2001-10-02
Toumaiuolo, Nicholas G. & Packer, Joan G.(1996) An analysis of Internet Search engines: Assessment of Over 200 Search Queries. Computers in Libraries. 6, s. 58-62.
Tunender, Heather & Ervin, Jane (1998). How to succeed in promoting your web site:
the impact of search engine registration on retrieval of a world wide web site.
Information Technology and libraries.17, s. 173-179.
Yahoo! Search help: How does Yahoo Search work?
http://help.yahoo.com/help/us/ysearch/ysearch-02.html. Besökt 2001-10-02
Winship, Ian R. (1995) World-Wide Web searching tools: an evaluation.VINE 99, s. 49-54.