Digitoday

Valikko

Ohjelma setvii sanojen rakennuspalikat

Teknillisen korkeakoulun Informaatiotekniikan laboratoriossa on kehitetty menetelmä sekä tietokoneohjelma, joka oppii sille annetusta tekstiaineistosta automaattisesti analysoimaan sanojen todennäköisiä rakennuspalikoita.

Ohjelmaan ei ole koodattu minkään kielen kielioppia, vaan käytetty menetelmä on oppiva ja täysin tilastollinen, TKK kertoo. Maailman kielten runsaus tuottaa suuria ongelmia tietokoneohjelmien laatijoille, eivätkä internet-hakukoneet yleensä hallitse vaikkapa suomen kielen taivutusmuotoja, saati yhdyssanoja.

Esimerkiksi suomenkielisestä aineistoista Morfessor-ohjelma on oppinut, että suomen kielessä "ssa" on todennäköinen pääte, sillä se esiintyy yleisesti monissa sananmuodoissa ja pääasiallisesti sanan loppupäässä (esimerkiksi "Sisilia + ssa", "auto + ssa + han"). Kohdatessaan uuden sanan "Kaledoniassa" Morfessor-ohjelma osaa siksi päätellä, että kyse luultavasti on paloista "Kaledonia + ssa".

Valtaosalle maailman kielistä ei ole kehitetty edes kielitieteelliseen tietoon pohjautuvia tietokoneohjelmia. Erityisesti näille kielille tämä suoraan tekstistä rakenteita oppiva Morfessor-menetelmä voi olla käänteentekevä ratkaisu, TKK povaa.

Pontta puheentunnistukseen

Kun tietokoneohjelmalla yritetään tunnistaa puhetta, eli muuttaa koneen kuulema äänisignaali tekstiksi, puheentunnistimen on sisällettävä malli sanavalikoimasta, joka saattaa tulla esiin. Suomen kielen sanoilla on aivan liikaa taivutusmuotoja, jotta ne kaikki voitaisiin luetteloida puheentunnistimissa - esimerkiksi verbi voi esiintyä jopa 2000:ssa eri taivutusmuodossa.

Kaikkien sananmuotojen luettelo olisi lisäksi vanhentunut jo syntyessään; uusia erikoistermejä ja yhdyssanoja keksitään jatkuvasti, ja yhä uudet vieraskieliset nimet nousevat puheenaiheiksi.

Morfessor-ohjelmalla on jatkuvan suomenkielisen puheen tunnistuksen virheiden määrä saatu putoamaan lähes puoleen verrattuna sanapohjaiseen perusmenetelmään.

Lisäksi uutispuhetta tunnistettaessa ohjelmalla on saatu parempia tuloksia kuin kielitieteellistä tietoa käyttävällä käsin ohjelmoidulla menetelmällä. Tämä parannus johtunee siitä, että lingvistisen menetelmän koodaaja ei ole tullut ohjelmoineeksi sinne puheaineistossa esiin tulleita sanoja eri taivutusmuotoineen.

Raparperi ei taivu Googlen suussa

Jos etsii Googlesta reseptiä sanalla "raparperipiirakkaresepti", ei löydä dokumentteja, joissa onkin "raparperipiirakan resepti" tai "löysin hyvän raparperipiirakkareseptin", TKK havainnollistaa hakukoneiden puutteita.

Automaattisen puheentunnistuksen ja internet-hakukoneiden lisäksi Morfessor-menetelmää voi soveltaa tietokoneavusteiseen tai täysin automaattiseen kielen kääntämiseen sekä kielen oppimisen apuvälineissä.

Ohjelmaa on toistaiseksi sovellettu menestyksekkäästi suomen, englannin ja turkin kieliin ja sen ensimmäinen versio on nyt vapaasti saatavilla internetistä. Lisäksi ohjelmaa voi kokeilla verkossa mielivaltaisilla suomen ja englannin sanoilla.

Kommentit

    Näytä lisää

    Näitä luetaan!
    1. 1

      ”Pistää ihan vihaksi” – Somessa kauhistellaan: Nanna Karalahden ja Jax-pojan ravintolakäynti ei mennyt putkeen

    2. 2

      Päreet paloivat ohitustilanteessa Turussa – kiilaajan liikenneraivo tallentui poliisin kameraan

    3. 3

      Nuoria kesätöihin palkkaava konepaja löi vaatimukset tiskiin: ”Yli 3 sanan lauseiden muodostaminen on eduksi”

    4. 4

      Ruotsinlaivan työntekijä todisti mykistävää tapausta: ”Ihmiset söivät kahvilassa katkarapuleipiään, kun haistoimme kovan hajun”

    5. 5

      Putin haluaa tavata Trumpin Suomessa

    6. 6

      Tunnistaako suomalaisen naamasta? Testaa

    7. 7

      Tutkija Putinin ja Trumpin mahdollisesta tapaamisesta Suomessa: ”Loistava uutinen”

    8. 8

      Tiesitkö? Joka kodista löytyvä ihmeaine taikoo valkoiset tennarit taas hohtaviksi

    9. 9

      Tähän sähköpostiin ei kannata haksahtaa: ”Minulla on tietoa sinusta...” – pöytään lyödään vakuudeksi kotiosoite

    10. 10

      Cheyenne Järvinen vaarassa joutua kotiin Temptation Islandissa – vetoaa varattuihin miehiin: ”Tulin näyttämään, etten ole hirveä ihminen”

    11. Näytä lisää
    1. 1

      Ruotsinlaivan työntekijä todisti mykistävää tapausta: ”Ihmiset söivät kahvilassa katkarapuleipiään, kun haistoimme kovan hajun”

    2. 2

      10 vakavaa varoitusmerkkiä parisuhteessa – ”Se on se hetki, jonka jälkeen ei kannata jäädä katselemaan”

    3. 3

      Suomessa asuva mies sai puhelimeensa järkyttävän viestin 6 500 kilometrin päästä – ”Ammuin juuri kihlattusi”

    4. 4

      Coca-Colan tehtaalla tehtiin iljettävä löytö Pohjois-Irlannissa – ”Se oli hirvittävää”

    5. 5

      Näin suomalaisjulkkikset selvisivät potkuista – Renne Korppila päätyi K-kaupan lihatiskille

    6. 6

      Kimi Räikkönen tapasi Nicole Kidmanin – ”Jäämiehelle” tyypillinen reaktio herättää hilpeyttä maailmalla

    7. 7

      Huumeet tuhosivat Huippumalli haussa -kilpailijan ulkonäön – katsojia järkyttänyt Dr. Phil -esiintyminen muutti elämän

    8. 8

      Helppo testi makuuhuoneessa paljastaa, onko kotisi sisäilma kunnossa

    9. 9

      Povekas reality-tähti narahti ”huiputtamisesta” – nolo somemoka paljasti totuuden tähden kadehditusta kodista

    10. 10

      25-vuotias mies katosi Indonesiassa – löytyi valtavan pytonin vatsasta

    11. Näytä lisää
    1. 1

      Merkel tyrmistyi ”hävyttömästä” tempusta – Trump ojensi 350 miljardin laskun

    2. 2

      Bikinipöksyt kokevat tänä kesänä muodonmuutoksen – pukisitko itse yllesi?

    3. 3

      Nuoren naisen asunnosta levisi karmea haju 48 asunnon taloyhtiöön – löydön puhdistamiseen tarvittiin siirtolava

    4. 4

      Tiesitkö? Helsingissä asuu yksi kaikkein aikojen menestyneimmän heviyhtyeen kitaristi – rakastui suomalaiseen Mariaan, elää nyt lapsiperheen arkea Suomessa

    5. 5

      Teinityttö julkaisi hervottoman kuvaparin äidistään kostean illanvieton jälkeen – kiusallinen kuva villitsee somessa: ”Lauantai ja sunnuntai”

    6. 6

      Vihreä Nissan lepää kyljellään Tornion keskustassa – poliisi kertoo, miksi ei puutu tapaukseen

    7. 7

      25-vuotias mies piinasi naapurin naista kuukausien ajan – kunnes oven takana odotti yllätys

    8. 8

      Albinismia sairastavat kaksostytöt ihastuttavat malleina – poseeraavat nyt yhdessä tumman isosiskonsa kanssa

    9. 9

      Pilvi Hämäläiselle kävi hillitön asumoka – saapui Jussi-gaalaan Aina Inkerin polvisukissa: ”En muistanut, että mulla on halkio”

    10. 10

      Tangokuningatar Heidi Pakarinen löysi vieraan naisen kotoaan – murtuu kyyneliin muistosta: ”Se oli kerrasta finito”

    11. Näytä lisää
    Näitä luetaan!
    1. 1

      ”Pistää ihan vihaksi” – Somessa kauhistellaan: Nanna Karalahden ja Jax-pojan ravintolakäynti ei mennyt putkeen

    2. 2

      Päreet paloivat ohitustilanteessa Turussa – kiilaajan liikenneraivo tallentui poliisin kameraan

    3. 3

      Nuoria kesätöihin palkkaava konepaja löi vaatimukset tiskiin: ”Yli 3 sanan lauseiden muodostaminen on eduksi”

    4. 4

      Ruotsinlaivan työntekijä todisti mykistävää tapausta: ”Ihmiset söivät kahvilassa katkarapuleipiään, kun haistoimme kovan hajun”

    5. 5

      Putin haluaa tavata Trumpin Suomessa

    6. Näytä lisää
    1. 1

      Ruotsinlaivan työntekijä todisti mykistävää tapausta: ”Ihmiset söivät kahvilassa katkarapuleipiään, kun haistoimme kovan hajun”

    2. 2

      10 vakavaa varoitusmerkkiä parisuhteessa – ”Se on se hetki, jonka jälkeen ei kannata jäädä katselemaan”

    3. 3

      Suomessa asuva mies sai puhelimeensa järkyttävän viestin 6 500 kilometrin päästä – ”Ammuin juuri kihlattusi”

    4. 4

      Coca-Colan tehtaalla tehtiin iljettävä löytö Pohjois-Irlannissa – ”Se oli hirvittävää”

    5. 5

      Näin suomalaisjulkkikset selvisivät potkuista – Renne Korppila päätyi K-kaupan lihatiskille

    6. Näytä lisää
    1. 1

      Merkel tyrmistyi ”hävyttömästä” tempusta – Trump ojensi 350 miljardin laskun

    2. 2

      Bikinipöksyt kokevat tänä kesänä muodonmuutoksen – pukisitko itse yllesi?

    3. 3

      Nuoren naisen asunnosta levisi karmea haju 48 asunnon taloyhtiöön – löydön puhdistamiseen tarvittiin siirtolava

    4. 4

      Tiesitkö? Helsingissä asuu yksi kaikkein aikojen menestyneimmän heviyhtyeen kitaristi – rakastui suomalaiseen Mariaan, elää nyt lapsiperheen arkea Suomessa

    5. 5

      Teinityttö julkaisi hervottoman kuvaparin äidistään kostean illanvieton jälkeen – kiusallinen kuva villitsee somessa: ”Lauantai ja sunnuntai”

    6. Näytä lisää