TIM-tulostuksen testausraportti

Versio 1.0.0 29.10.2017
TIMANTTI-PROJEKTI
Tuomas Porvali

Raportti

Tämän dokumentin tarkoitus on koota ja arvioida järjestelmätestauksen tuloksia.

Testauksen kohde

Testauksen kohteena on TIM-järjestelmän tulostustoiminnallisuus. Tulostustapoja on kaksi: CSS- ja TeX-tulostus.

Testausympäristönä toimi Timg-testipalvelin, jossa kaikki testitapaukset suoritettiin. Testauksessa hyödynnettiin yliopiston tarjoamia Windows 10-tietokoneita. Yliopiston Titelaboratoriossa hyödynnettiin Mac-tietokonetta Safari-selaimen testaamiseen, kun taas Windows 10 tietokoneilla testattiin selaimet Opera, Firefox, Chrome, Explorer ja Edge.

Poikkeamat testaussuunnitelmasta

Ensimmäisessä suorituskerrassa testitapaukset suoritettiin vähintään viisi kertaa, mutta niiden läpikäyntiohjeita noudatettiin aina.

Tex kehitettiin ominaisuuksia, joita ei implementoitu testipalvelimelle, joten niitä testattiin poiketeten tim.jyu.fi-palvelimella.

Käytetyt verkkoselaimet

CSS-tulostuksen testitapaukset suoritettiin Explorer, Edge, Opera, Chrome Firefox ja Safari -verkkoselaimilla.

TeX-tulostuksen testitapaukset suoritettiin vain Chrome-verkkoselaimella.

Testauksen tulokset

Tuloksista kerrotaan lyhyesti ja testitapausten suorituskerrat ovat koottu alla oleviin tauluihin.

CSS

CSS-tulostuksessa Chrome- ja Opera- verkkoselaimet suoriutuivat moitteettomasti kaikissa testitapauksissa.

Safarissa kappaleen sovitus aiheuttaa virheen, jossa otsikot jäävät yksin edelliselle sivulle, kun taas otsikon johdanto teksti on seuraavalla sivulla.

Firefoxissa sovitus-asetus aiheuttaa tyhjiä sivuja. Vähintään kahden sivun mittaisten koodiliitännäisten sisältö häviää sivunvaihdossa.

Microsoftin selaimista Explorerissa tulosteen ensimmäinen sivu on aina tyhjä ja käsin asetettava
sivun vaihto ei toimi. Edgessä suurin osa testitapauksista ei mennyt läpi.

CSS:

ID	Testitapaus	Suorituskerrat
1	Kommentit tulosteeseen	2
2	Kappaleen sovitus sivulle	3
3	Oletustyyliasetusten lataaminen ja muokkaaminen	3
4	Automaattisen sivunvaihdon muutoksien poistaminen	4
5	Automaattinen otsikoiden sijoitus seuraavalle sivulle	3
6	Sivunvaihdon asettaminen	2
7	Ei tyhjää ensimmäistä sivua	2
8	Usean sivun mittaiset koodiliitännäiset	2
9	Hyperlinkki tulostuu vain kerran	3

TeX

TeX-tulostuksessa testitapauksilla todettiin TIM-dokumentin kääntäminen ja sen saatavuus halutussa muodossa. Testauksessa todettiin myös, että dokumentti luodaan uudestaan, jos siihen on tehty muutoksia. Vanhaa dokumenttia ei siis ladata käyttäjälle.

TeX:

ID	Testitapaus	Suorituskerrat
1	TIM-Dokumentin kääntäminen PDF:ksi	4
2	TIM-dokumentin kääntäminen LaTeX:ksi	4
3	Toipuminen yhteyden katkosta	1
4	Liitännäinen luovuttaa oletus muodon markdownissa	3
5	Koodiliitännäinen luovuttaa oletus muodon markdownissa	2
6	Käännösvirheistä ilmoittaminen	2
7	Kääntäminen epäonnistuu	2
8	Uuden tulostuspohjan luominen	3
9	Käyttäjän syötteen käyttäminen pluginneissa	1

Kooste ja suorituskerrat

CSS-tulostuksen ominaisuuksien tulokset

ID	Testitapaus	Havainto dokumenttissa	Johtopäätös	Havainto selaimessa
1	Kommentit tulosteeseen	5	Virhe	ME
2	Kappaleen sovitus sivulle	3, 6	Virhe, Huomautus (tyhjiä sivuja), Huomautus (tyhjiä sivuja)	ME, MZ, S
3	Oletustyyliasetusten lataaminen ja muokkaaminen	1	Ok
4	Automaattisen sivunvaihdon muutoksien poistaminen	5	Ok
5	Automaattinen otsikoiden sijoitus seuraavalle sivulle	3, 6	Virhe	ME
6	Sivunvaihdon asettaminen	5	Virhe	IE, ME
7	Ei tyhjää ensimmäistä sivua	3, 5	Virhe	IE
8	Usean sivun mittaiset koodiliitännäiset	5	Virhe	MZ
9	Hyperlinkki tulostuu vain kerran	5	Virhe	ME

5.1.1 CSS-tulostuksen järjestelmätestauksen 1. testauskerta

Testauskerta suoritettiin 27.6.2017. Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.3. Testitapauksia ei suoritettu Safari-selaimella.

Kirjatut havainnot:

ID	Havainnot
1	Kommentit eivät ole tulosteessa Edgessä.
2	Sovitus ei toimi Edgessä, Explorerissa ja Mozillan selaimissa,jossa tekee tyhjiä sivuja.
3	Asetukset eivät vaikuta tulosteen sisältöön.
4	Testitapauksen ajaminen uudestaan rikkoo DOMin.
5	Ei toimi Edgessä, Explorerissa ja Mozillan selaimissa.
6	Ei toimi Edgessä ja Explorerissa selaimissa.
7	Dokumentti alkaa aina tyhjällä sivulla Explorissa.
8	Koodiliitännäisen sisältö häviää sivunvaihdossa Firefoksissa.
9	Hyperlinkki tulostui useamman kerran.

CSS-tulostuksen järjestelmätestauksen 2. testauskerta

Testauskerta suorittiin 29.6.2017. Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.3. Testitapauksia ei suoritettu Safari-selaimella.

Testauksessa käytiin tehtyjä muutoksia automaattisivunvaihtajaan.

Kirjatut havainnot:

ID	Havainnot
1	Ei testattu.
2	Ei testattu.
3	Ok
4	Ok
5	Ei testattu.
6	Ei testattu.
7	Ei testattu.
8	Ei testattu.
9	Hyperlinkki tulostuu kahteen kertaan edgessä.

CSS-tulostuksen järjestelmätestauksen 3. testauskerta

Testauskerta suorittiin 3.7.17. Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.3. Testitapaukset suoritettiin Mozilla Firefox ja Microsoftin Edge ja Explorer selaimilla.

Testauksessa käytiin läpi korjattuja ominaisuuksia aiemmin mainittuihin selaimiin, joihin nyt tehty omat tulostusajot.

Kirjatut havainnot:

ID	Havainnot
1	Ei testattu.
2	Ok. Firefoxissa esintyy tyhjiä sivuja.
3	Ei testattu.
4	Ok.
5	Automaattinen sivun vaihto ei toimi Edgessä. Toimii Mozillassa, mutta jättää otsikoita sivun loppuun joissain tapauksissa. Sovitus asetus auttaa, mutta sekään ei anna hyväksyttävää tulosta.
6	Ei testattu.
7	Ei testattu.
8	Ei testattu.
9	Ei testattu.

CSS-tulostuksen järjestelmätestauksen 4. testauskerta

Testauskerta suorittiin 6.7.2017. Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.3. Testitapaukset suoritettiin Safari-selaimella ensimmäistä kertaa.

ID	Havainnot
1	Ok.
2	Huomautus. Sovitus ei hyödynnä automaattisivutuksen asetuksia.
3	Ok.
4	Ok.
5	Ok.
6	Ok.
7	Ok.
8	Ok.
9	Ok.

TeX-tulostuksen ominaisuuksien tulokset

ID	Testitapaus	Dokumentti	Johtopäätös
1	TIM-dokumentin kääntäminen PDF:ksi	3	Ok, Virhe (tim.jyu.fi)
2	TIM-dokumentin kääntäminen LaTeX:ksi	3	Ok
3	Toipuminen yhteyden katkosta	3	Ok
4	Liitännäinen luovuttaa oletus muodon markdownissa	8	Ok
5	Koodiliitännäinen luovuttaa oletus muodon markdownissa	3	Ok
6	Käännösvirheistä ilmoittaminen	3	Ok
7	Kääntäminen epäonnistuu täysin	3	Ok
8	Uuden tulostuspohjan luominen	3	Ok
9	Käyttäjän syötteen käyttäminen liitännäisissä	8	Ok

TeX-tulostuksen järjestelmätestauksen 1. testauskerta

Testauskerta suorittiin 27.6.2017. Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.3.

Kirjatut havainnot:

ID	Havainnot
1	Ok. `Document Settings` -asetukset ovat myös käännetyssä dokumentissa.
2	Ok.
3	Chromessa toiminta jatkuu normaalisti. Firefoksissa pitää pyytää käännöstä uudestaan.
4	Ok.
5	Ok.
6	Ei testattu. Testitapaus ei ollut testaussuunnitelmassa 0.2.3.
7	Ei testattu. Testitapaus ei ollut testaussuunnitelmassa 0.2.3.
8	Ei testattu. Testitapaus ei ollut testaussuunnitelmassa 0.2.3.

TeX-tulostuksen järjestelmätestauksen 2. testauskerta

Testauskerta suorittiin 10.7.2017 Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin 0.2.5 versiota dokumentista.

Kirjatut havainnot:

ID	Havainnot
1	Virhe. Klikkaamalla linkkiä avautuu PDF virheviestillä: "Failed to load PDF document".
2	Ok.
3	Ei testattu, koska 1. testitapaus ei mennyt läpi.
4	Ei testattu, koska 1. testitapaus ei mennyt läpi.
5	Ei testattu, koska 1. testitapaus ei mennyt läpi.
6	Ei testattu, koska 1. testitapaus ei mennyt läpi.
7	Ok.
8	Virhe. Ei toimi ollenkaan.

TeX-tulostuksen järjestelmätestauksen 3. testauskerta

Testauskerta suorittiin 14.7.2017 Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.5.

Kirjatut havainnot:

ID	Havainnot
1	Ok. Teksti menee sivun yli. Havainto dokumenteissa 4, ohjelmointi 1.
2	Ok.
3	Ei testattu. Ominaisuus ei ole muuttunut.
4	Ok.
5	Ok.
6	Ok.
7	Ei testattu. Testitapaus ei ollut testaussuunnitelmassa 0.2.5.
8	Virhe. Ei toimi ollenkaan.

TeX-tulostuksen järjestelmätestauksen 4. testauskerta

Testauskerta suorittiin 17.8.2017 Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.6.

Kirjatut havainnot:

ID	Havainnot
1	Ok. Create painiketta voi klikata ilman, että valitsee mitään templatea.
2	Ok.
3	Ei testattu. Ominaisuus ei ole muuttunut.
4	Ok.
5	Ok.
6	Ok.
7	Ok.
8	Ok.
9	Ok.

Muuta:
Havainnot uudessa käyttöliittymässä. LaTeX, MD, JSON, HTML ja plain -valinnat toimii vaikka MD, HTML ja plain valinnat tuovat makrot käännetteyyn dokumentiin.

TeX-tulostuksen järjestelmätestauksen 5. testauskerta

Testauskerta suorittiin 21.8.2017 Testaajana toimi Tuomas Porvali. Testauksessa hyödynnettiin testaussuunnitelman versiota 0.2.6. Testit suoritettiin tim.jyu.fi-palvelimella

Kirjatut havainnot:

ID	Havainnot
1	Virhe. Kaikki dokumentit eivät käänny kaikilla tulostuspohjilla. Virhe kääntämisessä (Dokumentti 4: Ohjelmointi 1) tai kääntämisprosessi jää jumiin (Dokumentti 3: C ja C++).
2	Ok.
3	Ei testattu. Ominaisuus ei ole muuttunut.
4	Ok.
5	Ok.
6	Ok.
7	Ok.
8	Ok.
9	Ok.

Arviointi

CSS virheitä ilmeni eri selaimilla, koska sen tulostukseen toteutettu tyyliohje on rakennettu olemassa olevan tyyliohjeen päälle ja kaikilla verkkoselaimilla on omat tulkit CSS-tyylien piirtämiseen. Nämä ominaisuudet nostavat ongelman Firefoxissa, jossa selaimen CSS-tulkki ei yksinkertaisesti tiedä miten pilkkoa dokumentin sisältöä tulostettaviin sivuihin. Tämä ilmenee ylimääräisinä tyhjinä sivuina ja koodilohkon sisällön häviämisellä sivun vaihdon aikana. Alustavat virheet kappaleiden sivuttamisessa johtuivat ohjelmointi virheistä, jossa kehittäjä ei huomioinut, että eri selaimilla on omat kutsumetodit tulostamiseen.

TeX -tulostuksen testitapausten johtopäätökset vaihtelivat toteutettujen ominaisuuksien keskeneräisyyden takia. Myös TeX:hin makrot aiheutti paljon sähköposti liikennettä. Makroja ei ollut otettu testaussuunnitelmaan, koska ne olivat rajattu testauksen ulkopuolelle.