Digitoday

Valikko

Ohjelma setvii sanojen rakennuspalikat

Julkaistu:

Teknillisen korkeakoulun Informaatiotekniikan laboratoriossa on kehitetty menetelmä sekä tietokoneohjelma, joka oppii sille annetusta tekstiaineistosta automaattisesti analysoimaan sanojen todennäköisiä rakennuspalikoita.

Ohjelmaan ei ole koodattu minkään kielen kielioppia, vaan käytetty menetelmä on oppiva ja täysin tilastollinen, TKK kertoo. Maailman kielten runsaus tuottaa suuria ongelmia tietokoneohjelmien laatijoille, eivätkä internet-hakukoneet yleensä hallitse vaikkapa suomen kielen taivutusmuotoja, saati yhdyssanoja.

Esimerkiksi suomenkielisestä aineistoista Morfessor-ohjelma on oppinut, että suomen kielessä "ssa" on todennäköinen pääte, sillä se esiintyy yleisesti monissa sananmuodoissa ja pääasiallisesti sanan loppupäässä (esimerkiksi "Sisilia + ssa", "auto + ssa + han"). Kohdatessaan uuden sanan "Kaledoniassa" Morfessor-ohjelma osaa siksi päätellä, että kyse luultavasti on paloista "Kaledonia + ssa".

Valtaosalle maailman kielistä ei ole kehitetty edes kielitieteelliseen tietoon pohjautuvia tietokoneohjelmia. Erityisesti näille kielille tämä suoraan tekstistä rakenteita oppiva Morfessor-menetelmä voi olla käänteentekevä ratkaisu, TKK povaa.

Pontta puheentunnistukseen

Kun tietokoneohjelmalla yritetään tunnistaa puhetta, eli muuttaa koneen kuulema äänisignaali tekstiksi, puheentunnistimen on sisällettävä malli sanavalikoimasta, joka saattaa tulla esiin. Suomen kielen sanoilla on aivan liikaa taivutusmuotoja, jotta ne kaikki voitaisiin luetteloida puheentunnistimissa - esimerkiksi verbi voi esiintyä jopa 2000:ssa eri taivutusmuodossa.

Kaikkien sananmuotojen luettelo olisi lisäksi vanhentunut jo syntyessään; uusia erikoistermejä ja yhdyssanoja keksitään jatkuvasti, ja yhä uudet vieraskieliset nimet nousevat puheenaiheiksi.

Morfessor-ohjelmalla on jatkuvan suomenkielisen puheen tunnistuksen virheiden määrä saatu putoamaan lähes puoleen verrattuna sanapohjaiseen perusmenetelmään.

Lisäksi uutispuhetta tunnistettaessa ohjelmalla on saatu parempia tuloksia kuin kielitieteellistä tietoa käyttävällä käsin ohjelmoidulla menetelmällä. Tämä parannus johtunee siitä, että lingvistisen menetelmän koodaaja ei ole tullut ohjelmoineeksi sinne puheaineistossa esiin tulleita sanoja eri taivutusmuotoineen.

Raparperi ei taivu Googlen suussa

Jos etsii Googlesta reseptiä sanalla "raparperipiirakkaresepti", ei löydä dokumentteja, joissa onkin "raparperipiirakan resepti" tai "löysin hyvän raparperipiirakkareseptin", TKK havainnollistaa hakukoneiden puutteita.

Automaattisen puheentunnistuksen ja internet-hakukoneiden lisäksi Morfessor-menetelmää voi soveltaa tietokoneavusteiseen tai täysin automaattiseen kielen kääntämiseen sekä kielen oppimisen apuvälineissä.

Ohjelmaa on toistaiseksi sovellettu menestyksekkäästi suomen, englannin ja turkin kieliin ja sen ensimmäinen versio on nyt vapaasti saatavilla internetistä. Lisäksi ohjelmaa voi kokeilla verkossa mielivaltaisilla suomen ja englannin sanoilla.

Kommentit

    Näytä lisää

    Näitä luetaan!
    1. 1

      Huume-Eeva oli Bangkokin ensimmäinen suomalainen naisvanki – ”Nukuin 168 vangin seassa”

    2. 2

      ”Palopuron puuma” Laura, 40, vaihtoi nuupahtaneen liiton 15 vuotta nuorempaan mieheen: ”Seksi on hyvää”

    3. 3

      Skandaali EM-kisoissa – kultamitalisti poistui palkintokorokkeelta kesken kaiken

    4. 4

      Vaarallista ilkivaltaa junakiskoilla Hämeenlinnassa: ”Poliisin ei onneksi tarvitse toimittaa suruviestiä minnekään”

    5. 5

      Katso, oletko rikas vai köyhä – tämän verran keskimääräinen suomalainen omistaa

    6. 6

      Walmartin työntekijä hälytti poliisit – rekasta paljastui kahdeksan ihmisen ruumiit Teksasissa

    7. 7

      Välikohtaus Itämerellä paljastui: Venäläinen sotalaiva lähetti mystisiä radioviestejä, musta helikopteri kaartoi rahtialuksen yli

    8. 8

      Naisen lentomatka muuttui ”painajaiseksi” – kuva erikoisesta tapahtumasarjasta villitsee somessa

    9. 9

      Saimaan kanavaan 200 ihmistä kyydissään jumittunut M/S Carelia palasi Lappeenrantaan – toimitusjohtaja kiistää ruuan loppumisen

    10. 10

      Muistatko Tenavatähti Konsta Hietasen? Neljän lapsen isällä on ”salainen” sivu-ura – yli 100 keikkaa vuodessa!

    11. Näytä lisää
    1. 1

      Kansainvälisen uintiliiton julkaisema kuva järkyttää – ”Todella nöyryyttävää, epäkunnioittavaa, skandaali”

    2. 2

      Naisen lentomatka muuttui ”painajaiseksi” – kuva erikoisesta tapahtumasarjasta villitsee somessa

    3. 3

      ”Turha yrittää kesyttää” – julkkisnaiset kertovat, miksi eivät aja häpykarvojaan

    4. 4

      Astrid Swanin, 35, rintasyöpä uusiutui ja levisi – sairaus on parantumaton: ”Jätän lapseni taakseni, kun hän vielä tarvitsee minua”

    5. 5

      Cheek menetti etuhampaansa – edes hammaslääkäri ei kyennyt paikkaamaan ennen keikkaa: Elastinen julkaisi kuvan seuraamuksista

    6. 6

      Kohta rytisee! Ilmatieteen laitos varoittaa rankkasateista ja ukkosesta: ”Voi tulla vähän reippaammin”

    7. 7

      Katso, oletko rikas vai köyhä – tämän verran keskimääräinen suomalainen omistaa

    8. 8

      Kuvat Suomen kesästä: Festarivieraat kahlasivat tulvivalla kadulla, tennarit upposivat rakeisiin ja salama halkaisi koivun – ”Aika tälli tuli”

    9. 9

      ”Palopuron puuma” Laura, 40, vaihtoi nuupahtaneen liiton 15 vuotta nuorempaan mieheen: ”Seksi on hyvää”

    10. 10

      Huume-Eeva oli Bangkokin ensimmäinen suomalainen naisvanki – ”Nukuin 168 vangin seassa”

    11. Näytä lisää
    1. 1

      Harrastatko sinäkin ”Pirkka-seksiä”? 7 syytä, miksi se on tajuttoman upeaa

    2. 2

      Kansainvälisen uintiliiton julkaisema kuva järkyttää – ”Todella nöyryyttävää, epäkunnioittavaa, skandaali”

    3. 3

      Teemu Selänteen pojat katsoivat ilmaiseksi keikkaa isänsä luksusjahdilta – lavalla esiintyneeltä Reino Nordinilta osuva kuitti aiheesta

    4. 4

      Venäläisturisteja virtaa Suomeen yllättävästä syystä – näitä hamstrataan nyt kaupoista

    5. 5

      Katso: Tulipunainen hellemassa jysähtää pian jopa koko Suomeen – Ilmatieteen laitoksen video näyttää, millainen helle voi alkaa!

    6. 6

      Synkkä juhlailta Salossa – morsian joutui soittamaan poliisin omiin häihinsä

    7. 7

      TMZ: Linkin Parkin solisti Chester Bennington, 41, on kuollut

    8. 8

      Sabina Särkkä narahti uimapukukuvansa muokkaamisesta – kihlatun julkaisu paljasti totuuden: huomaatko eron?

    9. 9

      Nuori nainen lähetti avoimen sairauslomaviestin – pomon reaktio sai itkemään

    10. 10

      8 asiaa, joita pariskunnat tekevät, mutta eivät myönnä sitä – montako kohtaa myönnät?

    11. Näytä lisää
    Näitä luetaan!
    1. 1

      Huume-Eeva oli Bangkokin ensimmäinen suomalainen naisvanki – ”Nukuin 168 vangin seassa”

    2. 2

      ”Palopuron puuma” Laura, 40, vaihtoi nuupahtaneen liiton 15 vuotta nuorempaan mieheen: ”Seksi on hyvää”

    3. 3

      Skandaali EM-kisoissa – kultamitalisti poistui palkintokorokkeelta kesken kaiken

    4. 4

      Vaarallista ilkivaltaa junakiskoilla Hämeenlinnassa: ”Poliisin ei onneksi tarvitse toimittaa suruviestiä minnekään”

    5. 5

      Katso, oletko rikas vai köyhä – tämän verran keskimääräinen suomalainen omistaa

    6. Näytä lisää
    1. 1

      Kansainvälisen uintiliiton julkaisema kuva järkyttää – ”Todella nöyryyttävää, epäkunnioittavaa, skandaali”

    2. 2

      Naisen lentomatka muuttui ”painajaiseksi” – kuva erikoisesta tapahtumasarjasta villitsee somessa

    3. 3

      ”Turha yrittää kesyttää” – julkkisnaiset kertovat, miksi eivät aja häpykarvojaan

    4. 4

      Astrid Swanin, 35, rintasyöpä uusiutui ja levisi – sairaus on parantumaton: ”Jätän lapseni taakseni, kun hän vielä tarvitsee minua”

    5. 5

      Cheek menetti etuhampaansa – edes hammaslääkäri ei kyennyt paikkaamaan ennen keikkaa: Elastinen julkaisi kuvan seuraamuksista

    6. Näytä lisää
    1. 1

      Harrastatko sinäkin ”Pirkka-seksiä”? 7 syytä, miksi se on tajuttoman upeaa

    2. 2

      Kansainvälisen uintiliiton julkaisema kuva järkyttää – ”Todella nöyryyttävää, epäkunnioittavaa, skandaali”

    3. 3

      Teemu Selänteen pojat katsoivat ilmaiseksi keikkaa isänsä luksusjahdilta – lavalla esiintyneeltä Reino Nordinilta osuva kuitti aiheesta

    4. 4

      Venäläisturisteja virtaa Suomeen yllättävästä syystä – näitä hamstrataan nyt kaupoista

    5. 5

      Katso: Tulipunainen hellemassa jysähtää pian jopa koko Suomeen – Ilmatieteen laitoksen video näyttää, millainen helle voi alkaa!

    6. Näytä lisää