TIM-oppimisympäristön
LaTeX-tulostusominaisuuden
muiden texmakrojen toiminnallisuuden hyväksymistestaus
Ryhmä: FOP4
Laatija: Sami Kyyhkynen (kyyhkynen.sami@gmail.com)
Julkisuustaso: Julkinen
Päivämäärä: 28.11.2017
Dokumenttiversio: 0.1.0
Opintojakso: TIES546 Ohjelmistotestaus
Organisaatio: Jyväskylän yliopisto, Informaatioteknologian tiedekunta
1 Testauskerran kohde, tavoitteet ja suoritustavat
Testauskerta kohdistuu Jyväskylän yliopiston käyttämään TIM-oppimisympäristön LaTeX-tulostusominaisuuteen. Dokumentin laatijan on mahdollista muotoilla dokumentin LaTeX-tulostusasetukset käyttäen texmakroja. Nämä tulostusasetukset ovat voimassa kaikille muille dokumentin käyttäjille. Testauskerralla varmistetaan yleisimpien TIM-dokumentin runko-osaan liittyvien texmakrojen toiminnallisuus ja oikea vaikutus tulosteeseen.
1.1 Testauskerran kohde
Taulukko 1. Testattavat texmakrot:
| Nimi | Kuvaus | Huomioitavaa |
|---|---|---|
| texfontsize | tulostuksen fonttikoko | |
| texside | yksi- / kaksipuolinen tulostus | |
| texdocumentclass | dokumentin muotoiluasetukset: {artikkeli, kirja, raportti} | |
| texautonumber | otsikoiden automaattinen numerointi tulostuksessa | testataan dokumentin rungon osalta |
| texmargins | tulostusmarginaalien asetukset | |
| texfancyfooter | alatunnisteen asetukset |
1.2 Tavoitteet
Testauksen tavoitteena on löytää texmakroihin liittyvät toiminnalliset virheet sekä tehdä huomioita toiminnallisen laadun parantamiseksi. Hyväksytyn testauksen päämääränä on todeta testattavien texmakrojen soveltuvan tuotantokäyttöön.
1.3 Suoritustavat
Testauskerta suoritetaan hyväksymistestauksena opettajan näkökulmasta. Opettaja on LaTeX-tulostusasetuksien keskeiseen kohderyhmään kuuluva henkilö ja tyypillinen dokumentin laatija, joten hänellä on muokkausoikeudet LaTeX-tulostusasetuksiin. Testaaminen suoritetaan edellä määritellyille makroille toiminnallisena mustalaatikkotestauksena käyttäen syötteenä testaussuunnitelman TIM-dokumenttia. Menetelmänä käytetään mustalaatikkotestausta, sillä lähdekoodiin ei ole pääsyä. Se on myös yleisesti käytetty menetelmä hyväksymistestauksessa. Edellä mainittuja menetelmiä hyödyntäen, testitapauksien tuloksena saatujen tulosteiden avulla varmistetaan hyväksymistestauksen näkökulmasta riittävällä tarkkuudella testattavien texmakrojen toiminta.
Testitapausten valinnassa käytetään texmakrojen asetettavien parametrien arvojen jakoa ekvivalenssiluokkiin. Kelvollisista parametreista testataan kaikki, sillä niitä on rajallinen joukko ja ne ovat täten testattavissa kattavasti. Kelvottomat parametrien arvot on jaettu seuraaviin ekvivalenssiluokkiin: 1
Kelvottomat:
- Virheellinen parametrin arvo testitapauksesta riippuen
- texmacro x (x = kelvollinen parametrin arvo ilman kaksoipistettä)
- texmacro: x (x >= 0) 2
- texmacro: x (x < 0).
- texmacro x (x = kelvollinen parametrin arvo ilman kaksoipistettä)
- Tyhjät
- texmacro: (ilman parametrin arvoa). 3
Ekvivalenssiluokkia sovelletaan testitapauksiin soveltuvilta osin, testitapauksesta riippuen.
Huomiot:
1. Ohjaajan kanssa käydyn keskustelun tuloksena ekvivalenssiluokkien määrä on rajattu harjoitustyössä tarkoituksella pieneksi, jotta työmäärä ei kasva liian suureksi. Täten testikattavuutuus ei täyty täysin.
2. Ekvivalenssiluokka kattaa myös tyhjän joukon (välilyönnin).
3. Ekvivalenssiluokka testaa tyhjän (null) arvon. Testaaja ei syötä parametrille mitään arvoa.
1.4 Testauskerran ulkopuolelle rajatut ominaisuudet
Testauksen ulkopuolelle rajataan kansilehteen sekä sisällysluetteloon liittyvät texmakrot testauksen keskittyen varsinaista dokumenttia koskeviin texmakroihin.
Näiden lisäksi testauksen ulkopuolelle rajataan mukautettu alatunniste, joka otetaan käyttöön parametrilla "texfancyfooter: 2", sillä texfancyfooterstyle ei sisälly testitapauksiin testausmäärän rajoittamisesta johtuen.
Texmacro texmargins testataan käyttäen oletusasetusten mukaista paperikokoa A4 (210 x 297 mm). Muut paperikoot rajataan testauksen ulkopuolelle testausmäärän rajoittamisesta johtuen.
Testauksen ulkopuolelle rajataan myös liitännäiset, sillä niiden tulostusasetukset määritellään itse liitännäisen konfiguraatiossa, ei yleisissä tulostusasetuksissa.
2 Testausympäristö
- Ohjelmisto ja versio: TIM-oppimisympäristö, huomio 1
- Käyttöjärjestelmä ja versio: huomio 2
- WWW-selain ja versio: huomio 2
- Laitekokoonpano: huomio 2
- Testausympäristön testauspalvelin osoitteessa: https://tim.jyu.fi
- Testauksen suorituspaikka: huomio 3
- Testausdata: https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/esimerkit/ties546-ohjelmistotestaus/testausdata/Testausdata_toiminnallinen_muut_texmakrot
Huomiot:
1. Testauskerta kohdistuu TIM-oppimisympäristön uusimpaan julkaistuun versioon. Järjestelmän viimeisin muutospäivämäärä kirjataan testausraporttiin.
2. Laitteisto määritellään testaajan laitteistokokoonpanon mukaan. Laitteisto kirjataan testausraporttiin.
3. Testauksen suorituspaikka valitaan testausajankohdan mukaisesti. Paikka kirjataan testausraporttiin.
Testausympäristöä varten tarvitaan tietokone, käyttöjärjestelmä, WWW-selain sekä toimiva verkkoyhteys TIM-oppimisympäristön palvelimelle kirjautumista varten.
3 Testauskerran suorituksen kuvaus
Testaajalta vaaditaan perustaidot tietokoneen käytöstä. Testaajalta ei vaadita ohjelmointitaitoja eikä aiempaa kokemusta TIM-oppimisympäristöstä.
3.1 Testauskerran yksilöintiedot
Testauksesta laaditaan erillinen testausraportti. Testausraporttiin kirjataan testausympäristöstä ja ohjelmistosta kaikki kappaleessa 2 esitetyt tiedot. Lisäksi testauskerran yksilöintitietoihin kirjataan:
- Testaussuunnitelma ja versio: TIM-oppimisympäristön LaTeX-tulostusominaisuuden muiden tulostusmakrojen toiminnallisuuden hyväksymistestauksen testaussuunnitelma, versio 1.0.0
- Testauksen suorittajat: Kyyhkynen Sami, Shenouda Khalil Kiril
- Testauksen suoritusajankohta: 18.12.2017 - 14.1.2018 välillä, huomio 1
Huomiot:
1. Testaukerta suoritetaan testaajan määrittelemänä ajankohtana. Ajankohta kirjataan testausraporttiin.
3.2 Testauskerran yhteenvetotiedot ja suositukset
Testausraporttiin kirjataan seuraavat testauskerran yhteenvetotiedot:
| Yhteenvetotiedot | Kappalemäärä |
|---|---|
| Testitapauksia suoritettu: | |
| Testitapauksia suorittamatta: | |
| Testitapauksia yhteensä: | |
| xxx | |
| Johtopäätöksissä OK: | |
| Johtopäätöksissä huomioita: | |
| Johtopäätöksissä virheitä: | |
| Johtopäätöksissä puutteita: | |
| Johtopäätöksiä yhteensä: | |
| Johtopäätöksissä ei suoritettu: | |
| xxx | |
| xxx | Hyväksyntä: |
| Testauskerran johtopäätös: | Hyväksytty / Hylätty |
Testauskerta on suoritettu, kun kaikki testitapaukset on käyty läpi, joko hyväksytysti tai siten, että niihin on kirjattu vian kuvaus tai syy, miksi testiä ei voida suorittaa, mahdollisten jatkotoimenpiteiden varalle. Testausraporttiin kirjataan mahdolliset suositukset. Yleisesti korjausten jälkeen suositellaan uuden testauskerran järjestämistä ja korjatun testitapauksen uusintatestausta.
3.3 Testitapausten johtopäätökset
Testausraporttiin raportoidaan jokaisesta testitapauksesta vähintään seuraavat tiedot:
| Testitapauksen nro | OK / Virhe / Puute / Huomio / Ei suoritettu | Kuvaus |
|---|---|---|
| 1.1 | ||
| ... |
Virheen, puutteen, suorittamatta jättämisen tai muun huomion kohdalla testausraportin kuvaus sarakkeeseen kuvataan suorittamatta jättämisen syy tai itse ongelma, käytetty syöte, suoritetut toimenpiteet, saadut vasteet, mahdolliset virheilmoitukset sekä muut ongelman kannalta oleelliset asiat. Tarvittaessa kuvauksesta tehdään uusi liitetiedosto testausraportin liitteeksi. Ongelman kannalta oleelliset kuvakaappaukset tai PDF-tiedostot liitetään testausraportin liitteeksi.
Virhe ja puute johtavat testitapauksen hylkäämiseen.
4 Testitapausten kuvaus
4.1 Testitapauksen lähtötila
Jokaisen testitapauksen lähtötila on se, että kaikkien texmakrojen asetukset ovat oletusasetuksilla, ellei taukossa 4 ole muuta määritelty.
Oletusasetukset on esitetty alla olevassa dokumentissa:
https://tim.jyu.fi/view/kurssit/tie/proj/2017/timantti/kayttoohje#tulostusasetuksien-muokkaaminen
4.2 Testitapauksen vaste
Testitapauksen vaste on PDF-tiedosto. Varsinaista tulostimelle ohjautuvaa tulostusta ei tehdä, joten tulosteeseen viitattaessa tarkoitetaan PDF-tiedostoa.
Testitapauksen vasteena saatua PDF-tiedostoa verrataan kappaleen 4.3 taulukkoon 4. Testitapauksen hyväksymisen edellytyksenä on, että testitapauksen vasteena saadun PDF-tiedoston tila vastaa taulukon 4 hyväksymiskriteeriä. Mahdolliset vähäiset puutteet tai muut huomiot eivät ole este hyväksymiselle, mutta ne kirjataan testausraporttiin.
4.3 Testipolku ja testitapaukset
Testitapauksissa noudatetaan seuraavaa testipolkua. Suoritettavat testitapaukset on esitetty taulukossa 4.
Syötedokumenttina käytetään kappaleessa 2 esitettyä dokumenttia.
Testauksen kulku:
- Testaaja kirjautuu tunnuksillaan TIM-oppimisympäristöön.
- Testaaja avaa testausdatan mukaisen syötedokumentin selaimeen.
- Testaaja avaa texmakrojen asetusikkunan alla olevan kuvan 1 mukaisesti, painamalla kuvan osoittamia valintapainikkeita 1 - 3 kyseisessä järjestyksessä.
- Testitapauksessa määriteltävä parametri arvoineen on esitetty taulukon 4 testitapaus-sarakkeessa. Parametrit syötetään kuvan 1 osoittamaan kenttään 4.
- Testitapaukset suoritetaan yksi kerrallaan siten, että muissa texmakroissa on käytössä oletusasetukset. Testitapauksen mukaisten asetusten määrittelyn jälkeen testataan asetusten vaste tulostamalla dokumentti PDF-muotoon kuvan 2 mukaisesti. Painikkeita operoidaan kuvan osoittamassa järjestyksessä 1 - 4.
- Testitapauksesta saatua vastetta verrataan taulukon 4 hyväksymiskriteeriin.
| Nro | Makro | Testitapaus | Hyväksymiskriteerit | Huomautukset |
|---|---|---|---|---|
| 1.1 | texfontsize | texfontsize: 8pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.2 | texfontsize | texfontsize: 9pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.3 | texfontsize | texfontsize: 10pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.4 | texfontsize | texfontsize: 11pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.5 | texfontsize | texfontsize: 12pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.6 | texfontsize | texfontsize: 14pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.7 | texfontsize | texfontsize: 17pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.8 | texfontsize | texfontsize: 20pt | Tulostuksen fonttikoko testitapauksen mukainen | |
| 1.9 | texfontsize | texfontsize: 6pt | Järjestelmä selviää virheestä 1 | |
| 1.10 | texfontsize | texfontsize: 0pt | Järjestelmä selviää virheestä 1 | |
| 1.11 | texfontsize | texfontsize: -1pt | Järjestelmä selviää virheestä 1 | |
| 1.12 | texfontsize | texfontsize: | Järjestelmä selviää virheestä 1 | |
| 1.13 | texfontsize | texfontsize 12pt | Järjestelmä selviää virheestä 1 | |
| 2.1 | texside | texside: 'oneside' | Tulosdokumentti tulostuu yksipuoleisena (marginaalit samat parillisilla ja parittomilla sivuilla) | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.2 | texside | texside: 'twoside' | Tulosdokumentti tulostuu kaksipuoleisena (vasen ja oikea marginaali vaihtelee parillisilla ja parittomilla sivuilla) | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.3 | texside | texside: 'side' | Järjestelmä selviää virheestä 1 | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.4 | texside | texside: | Järjestelmä selviää virheestä 1 | Ennen testausta asetetaan texmargins: 'left=5mm, right=20mm, top=20mm, bottom=20mm' |
| 2.5 | texside | texside 'oneside' | Järjestelmä selviää virheestä 1 | |
| 3.1 | texdocumentclass | texdocumentclass: 'extarticle' | Tulosdokumentti tulostuu artikkeli-muotoisena | |
| 3.2 | texdocumentclass | texdocumentclass: 'extbook' | Tulosdokumentti tulostuu kirja-muotoisena | |
| 3.3 | texdocumentclass | texdocumentclass: 'extreport' | Tulosdokumentti tulostuu raportti-muotoisena | |
| 3.4 | texdocumentclass | texdocumentclass: 'extarcle' | Järjestelmä selviää virheestä 1 | |
| 3.5 | texdocumentclass | texdocumentclass: | Järjestelmä selviää virheestä 1 | |
| 3.6 | texdocumentclass | texdocumentclass 'extarticle' | Järjestelmä selviää virheestä 1 | |
| 4.1 | texautonumber | texautonumber: 0 | Tulosdokumentin runko tulostuu ilman automaattista otsikkonumerointia | |
| 4.2 | texautonumber | texautonumber: 1 | Tulosdokumentin runko tulostuu automaattisella otsikkonumeroinnilla | |
| 4.3 | texautonumber | texautonumber: 2 | Järjestelmä selviää virheestä 1 | |
| 4.4 | texautonumber | texautonumber: 'yes' | Järjestelmä selviää virheestä 1 | |
| 4.5 | texautonumber | texautonumber: | Järjestelmä selviää virheestä 1 | |
| 4.6 | texautonumber | texautonumber: -1 | Järjestelmä selviää virheestä 1 | |
| 4.7 | texautonumber | texautonumber 1 | Järjestelmä selviää virheestä 1 | |
| 5.1 | texmargins | texmargins: 'left=20mm, right=20mm, top=20mm, bottom=20mm' | Tulosdokumentin marginaalit testitapauksen mukaiset | |
| 5.2 | texmargins | texmargins: 'left=0mm, right=0mm, top=0mm, bottom=0mm' | Tulosdokumentin marginaalit testitapauksen mukaiset | |
| 5.3 | texmargins | texmargins: 'left=-1mm, right=-1mm, top=-1mm, bottom=-1mm' | Järjestelmä selviää virheestä 1 | |
| 5.4 | texmargins | texmargins: 'left=215mm, right=10mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 5.5 | texmargins | texmargins: 'left=10mm, right=215mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 5.6 | texmargins | texmargins: 'left=20mm, right=20mm, top=298mm, bottom=10mm' | Järjestelmä selviää virheestä 1 | |
| 5.7 | texmargins | texmargins: 'left=20mm, right=20mm, top=10mm, bottom=298mm' | Järjestelmä selviää virheestä 1 | |
| 5.8 | texmargins | texmargins: 'left=215mm, right=215mm, top=298mm, bottom=298mm' | Järjestelmä selviää virheestä 1 | |
| 5.9 | texmargins | texmargins: 'right=20mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 5.10 | texmargins | texmargins: 'left=10mm, right=20mm, top=20mm, bottom=20mm' | Tulosdokumentin marginaalit testitapauksen mukaiset. Vasen ja oikea marginaali vaihtelevat joka toisella sivulla | |
| 5.11 | texmargins | texmargins: 'left=20em, right=20em, top=20em, bottom=20em' | Järjestelmä selviää virheestä 1 | |
| 5.12 | texmargins | texmargins: 'left=20inch, right=20inch, top=20inch, bottom=20inch' | Järjestelmä selviää virheestä 1 | |
| 5.13 | texmargins | texmargins: | Järjestelmä selviää virheestä 1 | |
| 5.14 | texmargins | texmargins 'left=20mm, right=20mm, top=20mm, bottom=20mm' | Järjestelmä selviää virheestä 1 | |
| 6.1 | texfancyfooter | texfancyfooter: 0 | Tulosdokumentin alatunnisteessa sivunumero | |
| 6.2 | texfancyfooter | texfancyfooter: 1 | Tulosdokumentin alatunnisteessa joka toisella sivulla sivunumero & teoksen nimi ja joka toisella sivunumero & luvun nimi | |
| 6.3 | texfancyfooter | texfancyfooter: 3 | Järjestelmä selviää virheestä 1 | |
| 6.4 | texfancyfooter | texfancyfooter: | Järjestelmä selviää virheestä 1 | |
| 6.5 | texfancyfooter | texfancyfooter: -1 | Järjestelmä selviää virheestä 1 | |
| 6.6 | texfancyfooter | texfancyfooter 0 | Järjestelmä selviää virheestä 1 | |
| 7.1 | virheen testaus 2 | thisSettingDoesNotExist: 1 | Järjestelmä selviää virheestä 1 |
Huomiot:
1. Vaatimusmäärittelyiden puuttesta johtuen testitapauksen parametrin virheellisen arvon odotetettua vastetta ei ole tiedossa. Täten näissä testitapauksissa käytetään odotettuna vasteena järjestelmä selviää virheestä hyväksymiskriteeriä. järjestelmä selviää virheestä, jos se ei kaadu, antaa virheilmoituksen tai käyttää virheellisen asetuksen sijaan mahdollisia oletusasetuksia. Hyväksyminen arvioidaan tapauskohtaisesti ja tarpeelliset huomiot kirjataan johtopäätöksiin.
2. Testitapaus kattaa kaikkien testattavien makrojen nimien kirjoitusvirheet. Se ei testaa virheellistä parametrin arvoa.
These are the current permissions for this document; please modify if needed. You can always modify these permissions from the manage page.