TIM-järjestelmän

LaTeX-tulostusominaisuus
Käyttöohjeita hyödyntävän toiminnallisen testauksen testaussuunnitelma

Laatija: Kiril Shenouda Khalil (kiril.khalil@hotmail.com)
Ryhmä: FOP4
Julkisuustaso: Julkinen
Päivämäärä: 20.01.2018
Versio: 1.1.0
Opintojakso: TIES546 Ohjelmistotestaus
Organisaatio: Jyväskylän yliopisto, Informaatioteknologian tiedekunta

1 Testauskerran kohde, tavoitteet ja suoritustavat

Testattavana ohjelmistona on Jyväskylän yliopiston vuorovaikutteinen oppimisympäristö, TIM. TIM-oppimisympäristöä käytetään muun muassa luentomateriaalien jakamiseen. Ohjelmistoa käyttävät sekä opettajat, että opiskelijat. Opettajat voivat luoda opiskelijoille TIM-dokumentin oppimateriaalista ja opiskelijat voivat tulostaa tämän tai muita dokumentteja. Tämä testauskerta keskittyy toiminnalliseen testaukseen, jonka kohteena on LaTeX-tulostusominaisuudet, jotka määritellään testattavissa tulostusohjeissa.

1.1 Testauskerran kohde

TIM-oppimisympäristössä on uudehkona ominaisuutena mahdollisuus dokumentin tulostukseen. Erilaisia tulostustapoja ovat LaTeX-pohjainen tulostus ja CSS-pohjainen ''browser print'' -tulostus [1]. Testauskerta keskittyy LaTeX-pohjaiseen tulostukseen.

Testauskerralla testataan TIM-oppimisympäristön tulostusominaisuuden toiminnallisuutta hyödyntämällä tulostuksen käyttöohjeessa [2] kuvattuja työnkulkuja testitapauksina. Testauskerralla muodostetaan TIM-oppimisympäristöön laaditusta dokumentista LaTeX-tulostustoiminnolla PDF-tiedosto.

1.2 Testauskerran ulkopuolelle rajatut ominaisuudet

TIM-oppimisympäristön tulostusominaisuuksissa on kaksi erilaista tulostustoimintoa: LaTeX-pohjainen PDF-tulostus sekä tulostus verkkoselaimen kautta (browser print). Testausprojektin ajallisten resurssien puitteissa testausprojekti päätettiin kokonaisuudessaan rajata koskemaan pelkästään LaTeX-pohjaista tulostusta. Myös ohjeet, joissa vaaditaan LaTeX osaamista, on jätetty pois, sillä käytettävällä asiantuntijalla ei ole LaTeX osaamista ja aikaresurssien valossa sen opettelu ei olisi järkevää.

Koska testauskerralla arvioidaan myös käyttöohjeita, ei testitapauksia ole laadittu virheellisille syötteille tai ohjeista poikkeavalle toiminnalle. Tämä tulisi olemaan "hakuammuntaa", sillä on mahdotonta ennakoida kaikkia käyttäjien tekemiä poikkeamia. Virheellisiä syötteitä ja ohjeista poikkeavaa toimintaa testataan testausprojektin kahdella muulla testauskerralla.

1.3 Tavoitteet

Toiminnallisuustestauksen tavoitteena on testata LaTeX-tulostusominaisuuden toiminnallisuutta suhteutettuna niiden ohjeisiin. Testiskenaariot esitetään testaussuunnitelman luvussa 4.3, ja niitä vastaavat testitapaukset on esitetty ohjeiden työnkulun kuvauksissa [2].

Lopullinen tavoite on, että testauskerralla löydetyt mahdolliset virheet ja puutteet korjaamalla voidaan parantaa ohjelmiston toimivuutta.

1.4 Suoritustavat

Testaustasona on hyväksymistestaus, joka suoritetaan tulostajan näkökulmasta. Testaus suoritetaan toiminnallisuustestauksena, joka kohdistuu tulostusohjeiden toiminnallisuuteen. Testauskerran suorittaa järjestelmän asiantuntija eli kyseessä on asiantuntijatestaus.

2 Testausympäristö

Testauskertaa varten vaaditaan alla olevan listauksen mukainen testausympäristö:

• Ohjelmisto ja versio: Testauskerta kohdistuu TIM-oppimisympäristön uusimpaan julkaistuun versioon. Tämä löytyy osoiteesta: https://tim.jyu.fi
  
• Testausdata: Vapaasti valittava, mutta suositellaan hyödynnettävän linkin takaa löytyvää dokumenttia. Kyseinen tiedosto löytyy myös lähteenä [1].

Testauskertaa varten tarvitaan tietokone, www-selain sekä toimiva verkkoyhteys TIM-oppimisympäristön palvelemille kirjautumista varten.

3 Testauskerran raportointi

3.1 Testauskerran yksilöintitiedot

Testauskerrasta laaditaan erillinen testausraportti. Testausraporttiin kirjataan testausymparistöstä ja ohjelmistosta kaikki luvussa 2 esitetyt tiedot.

Lisäksi testauskerran yksilöintitietoihin kirjataan:

• Testaussuunnitelma ja -versio: TIM-järjestelmän LaTeX-tulostusominaisuuden toiminnallinen hyväksymistestaus ohjeita vasten
• Testauskerran suorittaja: Sami Kyyhkynen
• Testauskerran ajankohta
• Testauksen suorituspaikka
• WWW-selain ja versio
• Käyttöjärjestelmä ja versio
• Käytetty laite: Tabletti, matkapuhelin, PC yms.

Huomiot:

1. Testauskerralla käytetään viimeisintä julkaistua ja hyväksyttyä testaussuunnitelmaa

3.2 Testauskerran raportointi

Testausraporttiin kirjataan yhteenvetotiedot testauskerrasta taulukon 1 esimerkin mukaisesti. Tyhjä pohja taulukosta löytyy liitteestä 1.

Edellä mainittujen lisäksi testausraporttiin liitetään seuraava lomake täytettynä:

• Testaajan taustatietolomake

3.3 Testiskenaarioiden johtopäätökset

Testauskerran johtopäätökset syntyvät tehtyjen havaintojen ja niiden analysoinnin pohjalta.

Havaittujen ongelmien kohdalla suositellaan niiden korjausta ja uusintatestausta. Jos testauksessa ei havaita oleellisia toiminnallisuuteen liittyviä puutteita tai ongelmia, niin todetaan ominaisuuden olevan toiminnallisuudeltaan ohjeita vastaava ja merkataan taulukkoon "OK". Virhe viittaa selvään ongelmaan suorittamisessa, joka estää suorittamisen kokonaisuudessa tai osittain. Tämä virhe voi esiintyä sekä ohjelman toiminnallisuudessa tai käyttöohjeissa. Virheellä siis tarkoitetaan tilannetta missä testiskenaariossa kuvatun toiminnallisuuden suorittaminen ei ole mahdollista, johtuen ennalta mainituista syistä. Huomio viittaa tilanteeseen, jossa tominnallisuus toimii ja käyttöohje tukee sitä, mutta joko toiminnon käyttäminen on vaikeata tai ohjeet tarvitsevat lisäselvitystä.

Kuvaus kenttään testaajan kuuluu laajentaa johtopäätöksiään, mikäli se on huomio tai virhe. Testaajan tulee yrittää yksilöidä virhe tarkemmin tähän kenttään. Yksilöintiin liittyy tieto siitä onko virhe ohjeissa vaiko itse järjestelmässä. Jotta virheitä ja huomioita voidaan käsitellä myöhemmällä ajankohdalla tulee testaajan myös määritellä missä ohjelman komponentissa tai ohjeen osassa kyseinen virhe esiintyy. Mikäli tämän yksiöinnin suorittaminen on haastavaa sanallisesti voi testajaa myös ottaa kuvankaappauksen virheen aiheuttavasta komponentista tai ohjeesta.

Testiskenaarioiden johtopäätökset ja havainnot tulee kirjata taulukon 2 esimerkin mukaisesti. Tyhjä pohja taulukosta löytyy liitteestä 1.

3.4 Testaajan taustatietolomake

Ennen testauskerran suorittamista olisi suotavaa, että testaaja täyttää taustatietolomakkeen, jotta testauskerroista voidaan kerätä dataa kuinka eri asiantuntijoiden taustat voivat vaikuttaa testauskertojen johtopäätöksiin.

Taulukossa 3 on esimerkki täytetystä taustatietolomakkeesta. Tyhjä pohja taulukosta löytyy liitteestä 1.

4 Testauskerran suoritus

Testaussuunnitelma sisältää ohjeen testaajalle ja on oleellista, että testaaja tutustuu näihin ohjeisiin ennen testikerran suorittamista. Materiaaliin tutustuminen mahdollistaa useamman testikerran suorittamisen ja raportoinnin yhteneväisyydeen.

4.1 Testaajan tietotaidot

Testauskerran suorittaa asiantuntija. Asiantuntija suorittaa määritetyt testiskenaariot ja tekee näistä omia huomiota, jotka hän kirjaa ylös raporttiin.

Testaajalta odotetaan tietokoneen ja WWW-selaimen peruskäyttötaitoja. Testaajalla olisi suositeltavaa, mutta ei pakollista, olla kokemusta TIM-oppimisympäristön ja sen tulostusominaisuuden käytöstä, jotta voisi toimia asiantuntijan roolissa.

Testaajalta myös odotetaan kokemusta toiminnallisen testauksen suorittamisesta. Jyväskylän yliopiston TIES546-Ohjelmistotestaus mukaiset tietotaidot ovat riittävät suorittamaan tämän suunnitelman mukaisen testauskerran.

4.2 Yleinen ohjeistus testaajalle

Tällä testauskerralla on tarkoitus testata TIM-oppimisympäristön LaTeX-tulostusominaisuuden ominaisuuksien toiminnallisuutta, jonka avulla käyttäjä voi tulostaa itselleen dokumentteja.

Testauskerran suorittaminen ilman komplikaatioita vie aikaa noin puolesta tunnista tuntiin. Testauskerralla käydään läpi neljä testiskenaarioita (määritelty kappaleessa 3.5) ja yhteen testiskenaarioon pitäisi mennä noin 10-15min.

Testauskerralla testiskenaarioin mukaiset tulostukset suoritetaan PDF-muotoon ja "esikatselemalla" tätä PDF-tulostetta käy ilmi miten testiskenaariosta on suoriuduttu ohjeiden valossa. Täten paperille tulostamiseen ei ole perusteita.

Tämä testauskerta kohdentuu tulostusohjeiden toimivuuteen, joten on elintärkeätä, että testaaja nimenomaan noudattaa testiskenaariossa mainittua ohjeistusta kirjaimellisesti. Mikäli testaajalle nousee epäselvyyksiä ohjeiden tulkitsemisen kanssa, tulee testaajan edetä oman tulkinnan mukaan ja tehdä tästä huomio johtopäätöksiin. Mikäli testaajalla on aikaa ja motivaatiota voi hän suorittaa myös testiskenaarion eri tavoilla, mikäli ohjeiden tulkinnanvaraisuus tähän antaa syytä. Myös näistä pitää tehdä huomiot johtopäätöksiin.

4.3 Testiskenaariot

Testauskerralle suositeltu testausdata löytyy liitteestä [1]. Testauskerran alussa oletetaan, että testaaja on avannut selaimen ja kirjautunut omilla tunnuksillaan TIM-oppimisympäristöön.

Hyödyntäen tulostettavana TIM-dokumenttina tätä testaussuunnitelmaa [1] ja noudattamalla tulostusominaisuuden käyttöohjetta [2] suoritetaan seuraavat testiskenaariot:

• Testiskenaario 1: Testaaja yrittää suorittaa testausdatan tulostaminen seuraten tulostuksen yleisohjetta. Tämä kuvaillaan ohjeessa kappaleessa "3.1 Yleisohje".
• Testiskenaario 2: Testaaja yrittää muuttaa testausdatan tekstin näkyvyyttä seuraten tulostuksen ohjetta. Tämä kuvaillaan ohjeessa kappaleessa "3.2 Tulosteessa piilotettu ja näkyvä teksti".
• Testiskenaario 3: Testaaja yrittää ottaa käyttöön tulostusasetuksien muokkaamisen seuraten ohjeita. Tämä kuvaillaan ohjeessa kappaleessa "3.3 Tulostusasetuksien muokkaaminen".
• Testiskenaario 4: Testaaja yrittää luoda kurssille tulostuspohjan seuraten ohjeita. Tämä kuvaillaan ohjeessa kappaleessa "3.7 Kurssin tulostuspohjan luominen".

Lähteet

[1] Shenouda Khalil, K. 2018. FOP4-ryhmä, TIM-järjestelmän LaTeX-tulostusominaisuuden toiminnallinen testaus ohjeita vasten. Jyväskylä yliopisto. Iformaatioteknologian tiedekunta. Viitattu 11.01.2018.
https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/fop4_testaussuunnitelma_v_020_toiminnallinen_testaus_ohjeita_vasten
[2] Kujala, M., Latva-Salo, T., Porvali, T., Similä, M. 2017. Timantti-sovellusprojekti: tulostuksen käyttöohje. Jyväskylän Yliopisto. Informaatioteknologian tiedekunta. Viitattu 11.01.2018. https://tim.jyu.fi/view/tim/ohjeita/tulostusohje
[3] Kujala, M., Latva-Salo, T., Porvali, T., Similä, M. 2017. Timantti-sovellusprojektin vaatimusmäärittely Jyväskylän Yliopisto. Informaatioteknologian tiedekunta. Viitattu 11.01.2018. https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/dokumentit/vaatimusmaarittely
[4] Kujala, M., Latva-Salo, T., Porvali, T., Similä, M. 2017. Timantti-sovellusprojekti: sovellusraportti. Jyväskylän Yliopisto. Informaatioteknologian tiedekunta. Viitattu 11.01.2018. https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/dokumentit/sovellusraportti

Liite 1: Taulukot