Resultatens relation till andra moderna system för parsning av svenska

Som nämnts är det analysformat som produceras i schemaparsning annorlunda jämfört med det som produceras av andra system. För att ändå kunna relatera den aktuella metodens resultat och korrekthet hittills till andra system kommer här, delvis på begäran, några relevanta resultat att visas. Tre moderna systemty-per för parsning av svensk text är parsning med vad som på svenska har be-nämnts restriktionsgrammatik (Swedish Constraint Grammar, SweCG) (Karlsson, o.a. 1995)/(Voutilainen 2001) och parsning till en dependensgramma-tisk analys med antingen induktiv dependensgrammatikparsning med

MaltPar-ser (Nivre, o.a. 2007) eller Swedish Functional Dependency Grammar⁶⁴

(SweFDG, Conexor) (Voutilainen 2001). De system som här nämns har gram-matiska funktioner som del av analysen (eventuellt valbar i SweCG) och är i alla fall inte enbart helt frasstrukturella. Detta är anledningen till att de över huvud taget tas upp i sammanhanget, som påpekas återigen längre ner är formatet och förutsättningarna egentligen alltför olika för tydliga resultatjämförelser.

1 Den 2 gamla 3 hunden 4 och 5 den 6 unga 7 katten 8 äter 9 frukost det:>3 attr:>3 subj:>8 cc:>3 det:>7 attr:>7 cc:>3 main:>0 obj:>8

Kodexempel 6 I SweFDG (Voutilainen 2001) produceras dependensgrammatisk analys, här i

textformat. Exemplet är förkortat och information om ordklasstaggning och ordens grundfor-mer är borttagna för enkelhets skull. Den version av SweCG som utvärderats i samma artikel resulterar i en liknande funktionell analys. Analysen i textformat visar hur länken från huvud-verbet äter går till subjektets huvudord hunden (bågen från hunden pekar på äter).

Constraint Grammar (CG) är, som nämnts, ett ramverk som syftar till att enkelt

formulera restriktioner i regelval när en syntaxanalys sker, och det riktar därmed in sig på den stora ambiguitet som en normal grammatik kan ge upphov till. CG

64 Programmet FDG distribueras liksom Constraint Grammar i skrivande stund genom finska

IT Center for Science: http://www.csc.fi

MaltParser finns tillgänglig på http://w3.msi.vxu.se/~nivre/research/MaltParser.html

tillåter regelskrivning både för ordklasstaggning, och olika typer av syntaxana-lys, bland annat en som är jämförbar med SweFDG, se Kodexempel 6. Ramver-ket CG är inte fritt tillgängligt utan har blivit avgiftsbelagt.

Subjekt (huvudord) Objekt (huvudord) Predikativ (huvudord) Precision 98 % 95 % 97 % Recall 92 % 90 % 95 %

Tabell 32 The Swedish FDG parser utvärderades genom en undersökning av hur väl subjekts,

objekts och predikativs huvudord kunde länkas till deras regenter – dvs. huvudverben. Under-sökningen gjordes manuellt på 406 textmeningar från Hufvudstadsbladet och Dagens Nyheter. Detta system får betraktas som ett av de som har den bästa korrektheten för svenska idag. Det är emellertid svårt att jämföra denna prestanda med andra system.

Subjekt

(huvudord) (huvudord) ^Objekt (huvudord) ^Predikativ

Precision 95 % 94 % 92 %

Recall 83 % 88 % 96 %

Tabell 33 Tapanainens and Järvinens resultat med SweCG enligt Voutilainen (2001).

I Wilhelmsson (2008) redovisades en manuellt beräknad sammanvägd korrekt-het (F-score) på ca 98 % för identifikation av primära finita verb i korrekt tag-gad text från en testdel av SUC 2.0. I de andra systemen är denna korrekthet läg-re, när den alls nämns (testtext och ordklasstaggning är dock olika och gör det i princip omöjligt att jämföra rättvist). De tre nämnda systemens korrekthet ifråga om identifikation av huvudord i funktionella led som subjekt har utvärderats och försök att jämföra dessa har gjorts av upphovsmännen. Som poängteras i Citat 3 är det till och med svårt att jämföra så relativt närliggande system som

MaltPar-ser och SweFDG. Redovisade resultat ges i Tabell 32 till Tabell 34.

Subjekt

(huvudord) (huvudord) ^Objekt (huvudord) ^Predikativ Precision 90,6 % 78,9 % 75,9 %

Recall 88,1 % 83,5 % 71,8 %

Tabell 34 Resultat från en betydligt noggrann utvärdering mot Talbanken (Einarsson 1976).

”We use the professional prose section, consisting of material taken from textbooks, newspa-pers and information brochures” (Nivre, Hall, o.a. 2007), s. 113. Undersökningen gjordes med en ordklasstaggning av Talbanken med en korrekthet av 95,6 % i utvärderingen av

MaltPar-ser.

Citat 3 Relating the Swedish results to the state of the art is rather difficult, since there

is no comparable evaluation reported in the literature, let alone based on the same data. Voutilainen (2001) presents a partial and informal evaluation of a

Swedish FDG parser, based on manually checked parses of about 400 sentences from news paper text, and reports F measures of 95 % for subjects and 92 % for objects. These results clearly indicate a higher level of accuracy than that at-tained in the experiments reported here, but without knowing the details of the data selection and evaluation procedure it is very difficult to draw any precise

conclusions. (Nivre, Hall, o.a. 2007).

Eftersom resultaten rörande SweFDG (Voutilainen 2001) kommer från ett test på en relativt ospecificerad text av oklar svårighetsgrad har de ansetts för oklara för att ens jämföra med liknande resultat från den mest närliggande systemtypen – den (likaledes funktionella) dependensparsern MaltParser enligt Citat 3. Det är uppenbart mycket stora skillnader emellan undersökningarnas förutsättningar och den output de producerar, varför en jämförelse riskerar att bli helt missle-dande. Ännu svårare är det rimligen att jämföra resultaten med föreliggande sy-stem. The Swedish FDG parser har testats på text som den ordklasstaggat själv. I det föreliggande arbetet är det istället syntaxanalysen och inte taggningen som varit fokus. Taggaren som använts där har inte någon speciell korrekthet angiven i källan. The Swedish FDG parser har i likhet med MaltParser utvärderats med identifikation av funktionella länkar både på huvud- och bisatsnivåer.

I fråga om korrekt länkning från satsers huvudverb till subjektets huvudord (på både huvudsatsnivå och underordnade nivåer) redovisas, som omtalas i Citat 3, för SweFDG en F-score på ca 95 % i ett manuell test, jämfört med motsvarande föredömligt objektiva utvärdering av resultatet från de inducerade reglerna i

MaltParser till ca 89,3 %. I MaltParser används en ordklasstaggning med en

korrekthet på 95,6 %, i SweFDG är motsvarande värde okänt. Till MaltParsers fördel ska dessutom konstateras att det är den använda korpusen som avgjort vad som räknas som subjekt, de oklarheter och skillnader angående vad som räknas skulle t.ex. kunna betyda att den egentligen har samma korrekthet som SweFDG.

Att relatera dessa olika värden till de som hittills uppnåtts med aktuell metod är rimligen ännu svårare. Utvärderingen ger över 90 % korrekthet för matchning av

hela huvudsatssubjekt i korrekt taggad text (testmängden från SUC 2.0). Det ska

då beaktas, till detta projekts fördel, att 1) en utökad analys till underordnade satsnivåer kanske skulle ge högre korrekthet p.g.a. subjektets regelmässiga pla-cering där, samt 2) att ytterligare höjning troligen skulle ske om identifikation av huvudord vore tillräckligt. Dessutom har s-enheter med antagen feltaggning un-dantagits från korpusen när sådana påträffats här, så taggningen har inte tillåtits leda till fel. Fastän fullödiga jämförelser därmed svårligen låter sig göras så har föreliggande system en stor potential till utveckling. Metoden för parsning är specialiserad för svenska och har en väldigt rik intern representation av den textmening som analyseras (se Kapitel 4). Det ger möjlighet till smidiga änd-ringar och komplex regelskrivning som tar t.ex. valens och pågående delanalys i beaktande mer än för närvarande.

De korrekthetsvärden som visas upp är resultatet av en lång periods manuellt arbete, i hög utsträckning genom stegvis felrättning. Fel har sorterats i kategorier vilka genomgås med förhoppningen att nå fram till allmängiltiga, handskrivna analysreger. Detta betyder att resultaten inte speglar kvaliteten hos metoden som sådan, utan bara det aktuella programmets status. Eftersom regelskrivandet i den aktuella implementationen sker mycket fritt och kan uttrycka i princip alla grammatikregler som grundar sig på form och ordning, verkar det möjligt att nå mycket långt – att utvecklingen tar tid är mer av en begränsning. Resultaten som erhållits med denna metod genom implementationen är inte riktigt möjliga att jämföra med något av de nämnda systemen, åtminstone beroende på följande anledningar.

 Programmet har som målsättning att identifiera hela satsled exakt från första ordet i första framförställda attributet till det sista ordet i det sista efterställda attributet.

 Det föreliggande systemet har konskevent utvecklats mot korrekt taggning, eller enheter med ofarliga taggningsfel från SUC 2.0. Tillämpningarna i kapi-tel 5 använder sig av en taggare med uppskattad korrekthet 95,3. Andra sy-stem är utvärderade mot ordklasstaggning från ca 95 procents korrekthet.

 I projekten SweFDG och MaltParser läggs utvärderingsfokus naturligt på korrekt identifikation av huvudord hos subjekt och objekt.

 Programmet är i sitt nuvarande utförande kapabelt att göra huvudsatsanalys men inte fullständig satslösning av svenska textmeningar. Även om mycket talar för att analys av satsförkortningar, bisatser och relativsatser kan analy-seras lika väl med samma metodik (ordföljden verkar till och med göra upp-giften enklare) så är detta ännu ej utarbetat. Programmet i sin nuvarande form har speciellt svårigheter med vissa elliptiska konstruktioner, Han köpte mjölk

och hon smör – eftersom hon smör motsvarar en huvudsats, men saknar finit

och ansatser bygger huvudsatser och primära finita verbfraser kring finit.

 Jämfört med GTA (Knutsson, Bigert och Kann 2003), men troligen även jäm-fört med MaltParser, är uppmärkningen av SUC omodifierad och innehåller inte från början tillagd information som speciell taggning av hjälpverb, kopu-laverb etc. Däremot finns i systemet många ordgrupperingar varmed ord märks upp under syntaxanalysen.

Sammanfattningsvis i detta kapitel om identifikation av de primära obegränsade leden kan sägas att ledidentifikationen delvis har visat höga korrekthetsresultat. Speciellt beräknas identifikationen av primära subjekt kunna ske med hög

kor-rekthet. Detta är i hög grad en konsekvens av att denna uppgift ägnats mycket tid. Utvärderingen av de obegränsade leden har generellt gällt exakt matchning inklusive alla attribut. Felmarkeringar är hittills ofta felaktiga segmenteringar p.g.a. att otillräckligt med tid ägnats åt olika länkningsregler. Den rangbaserade chunkningen är däremot inte någon kvantitativt betydande felkälla.