Automated testing according to IEC 61850-10 and IEC 60255-151 : Test automation test case implementation
Jokiranta, Julia (2024)
Jokiranta, Julia
2024
Sähkötekniikan DI-ohjelma - Master's Programme in Electrical Engineering
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2024-04-02
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202402202372
https://urn.fi/URN:NBN:fi:tuni-202402202372
Tiivistelmä
Test automation can be used in software testing. In practice, test automation is implemented by using selected test automation software, which is programmed to implement the desired testing steps. The test automation can then be used to test other software. Test automation can be used to reduce costs and improve the reliability and repeatability of testing. Utilising test automation at every stage of product development supports development work and reduces manual testing. However, the purpose of test automation is not to reduce the amount of testing, but it even allows for more testing and testing to be performed more often when it can be done more quickly and without human interaction, so that testing can be done, for example, for 24 hours a day.
The aim of this work was to implement a test automation implementation for ABB's centralised protection and control device, SSC600. The purpose of the implementation was to create tests in accordance with IEC 60255-151 and IEC 61850. The standards define the steps to be taken in testing as well as the range allowed for the results. The theoretical background of the work was standards IEC 61850-10 and IEC 60255-151. The IEC 61850 standard series standardises communication between intelligent electronic devices in power utility automation systems. The IEC 60255-151 standard focuses on testing overcurrent and undercurrent protection. This thesis focuses especially on the testing of time-delayed phase overcurrent protection.
SSC600 and IEDSim were used as test equipment. The SSC600 is ABB’s centralised protection and control device for substations. IEDSim is an IEC 61850 supporting signal generator for ABB’s internal use. The main test automation software of this work is the Robot Framework, which was expanded with Python. The work presents in more detail the differences between test automation and manual testing, as well as Robot Framework at the general level.
The test automation implementation includes tests based on IEC 61850 and IEC 60255-151 standards. From the IEC 61850 standard, the first subtest of the GOOSE communication protocol performance testing has been selected and from the IEC 60255-151 standard, the test of the operating value and reset ratio. In the case of IEC 60255-151, the time-delayed overcurrent protection PHLPTOC has been selected as the protection function block to be tested. The results of the tests of this master’s thesis were within the limits allowed by the standards. The result of the IEC 61850-10 GOOSE performance test was that GOOSE transfer time is less than the acceptance criteria. During the implementation, deficiencies were found in the functionality of IEDSim, due to which the test could not be completed to the extent required by the standard. However, after the development of IEDSim, the test can be extended to conform to the standard. The results of the IEC 60255-151 operate and reset ratio tests were within the operating accuracy of the SSC600 technical manual and the tests included steps required by the standard.
All the tests passed, and the results were within the ranges defined by the standards. Successfully performed tests prove that the SCC600 functions as required by the standards. This was expected, as tests according to the standards have been tested before the product was re-leased, but now testing was made easier with test automation. Tests according to the standards were successfully implemented in this work. The development work achieved in the work can therefore be considered successful and the development work can be continued to increase test automation in software testing. Testiautomaatiota voidaan hyödyntää ohjelmistotestauksessa. Käytännössä testiautomaatio toteutetaan ohjelmistopohjaisesti käyttäen valittua testiautomaatio-ohjelmistoa, joka ohjelmoidaan toteuttamaan halutut testausvaiheet. Testiautomaatiolla voidaan testata sitten testauksessa olevaan ohjelmistoa. Testiautomaation avulla voidaan pienentää kustannuksia sekä parantaa testaamisen luotettavuutta ja toistettavuutta. Testiautomaation hyödyntäminen tuotekehityksen joka vaiheessa tukee kehitystyötä sekä vähentää manuaalista testausta. Testiautomaation tarkoitus ei ole kuitenkaan vähentää testauksen määrää vaan se mahdollistaa jopa testauksen lisäämisen ja testauksen suorittamisen useammin, kun se voidaan suorittaa nopeammin ja ilman ihmisvuorovaikutusta, jolloin testausta voidaan tehdä esimerkiksi ympärivuorokautisesti.
Tämän työn tavoitteena oli toteuttaa testiautomaatiototeutus ABB:n keskitetyn suojauksen ja ohjauksen laitteelle, SSC600:lle. Toteutuksessa haluttiin luoda testit standardien IEC 60255-151 ja IEC 61850 mukaisesti. Standardit määrittelevät testauksessa toteutettavat vaiheet sekä tuloksille sallitun vaihteluvälin. Työn teoriapohjana käytettiin standardeja IEC 61850-10 ja IEC 60255-151. IEC 61850 standardi standardisoi älykkäiden laitteiden välisen tiedonsiirron sähkölaitosautomaatiojärjestelmissä. IEC 60255-151 standardi keskittyy yli- ja alivirtasuojauksen testaamiseen. Tämä diplomityö keskittyy etenkin aikaviivästetyn ylivirtasuojauksen (engl. time delayed phase overcurrent protection) testaamiseen.
Testilaitteina oli käytössä SSC600 ja IEDSim. SSC600 on ABB:n sähköasemille tarkoitettu keskitetyn suojauksen ja ohjauksen laite. IEDSim on ABB:n sisäiseen käyttöön tehty signaaligeneraattori, joka tukee IEC 61850 standardia. Pääasiallinen testiautomaatio-ohjelmisto tämän työn toteutuksessa on Robot Framework, jota laajennettiin Pythonilla. Työ esittelee tarkemmin testiau-tomaation ja manuaalisen testauksen välisiä eroja sekä Robot Frameworkia yleisellä tasolla.
Testiautomaatiototeutus sisältää testit, jotka pohjautuvat IEC 61850 ja IEC 60255-151 stand-ardeihin. IEC 61850 standardista toteutukseen on valittu GOOSE viestiprotokollan suorituskykytestauksen ensimmäinen osatesti ja IEC 60255-151 standardista toiminta-arvon (engl. operate value) ja palautumissuhteen (engl. reset ratio) testaus. IEC 60255-151 standardin kohdalla testattavaksi suojalohkoksi on valikoitunut aikaviivästetty ylivirtasuoja PHLPTOC. Diplomityössä toteutettujen testien tulokset olivat standardien sallimissa rajoissa. IEC 61850-10 GOOSE suorituskykytestin tulokseksi saatiin, että GOOSE viestit kulkevat alle standardin asettaman maksimihyväksymiskriteerin. Toteutusta tehdessä kuitenkin havaittiin IEDSimin toiminnallisuuteen liittyviä puutteita, joiden takia testiä ei saatu suoritettua standardin vaatimassa laajuudessa. Kuitenkin IEDSimin kehitystyön jälkeen testi voidaan laajentaa standardin mukaiseksi. IEC 60255-151 mukaiset toiminta-arvo- ja palautumissuhdetestien tulokset olivat SSC600 teknisen manuaalin asettamien toimintatarkkuuksien sisällä ja testit toteuttivat IEC 60255-151 standardin vaatimat vaiheet.
Kaikki toteutetut testit menevät onnistuneesti läpi ja lukuarvotulokset ovat standardien määrittelemien vaihteluvälien sisällä. Onnistuneesti suoritetut testit osoittavat, että SCC600 toimii kuten standardit vaativat. Tämä oli odotettua, sillä standardien mukaisesti testit on suoritettu ennen tuotteen julkaisua, mutta nyt testaamista saatiin helpotettua testiautomaatiolla. Tässä työssä toteutettiin standardien mukaiset testit onnistuneesti. Työssä aikaan saatua kehitystyötä voidaan pitää näin ollen onnistuneena ja kehitystyötä voidaan jatkaa testiautomaation lisäämiseksi ohjelmistotestauksessa.
The aim of this work was to implement a test automation implementation for ABB's centralised protection and control device, SSC600. The purpose of the implementation was to create tests in accordance with IEC 60255-151 and IEC 61850. The standards define the steps to be taken in testing as well as the range allowed for the results. The theoretical background of the work was standards IEC 61850-10 and IEC 60255-151. The IEC 61850 standard series standardises communication between intelligent electronic devices in power utility automation systems. The IEC 60255-151 standard focuses on testing overcurrent and undercurrent protection. This thesis focuses especially on the testing of time-delayed phase overcurrent protection.
SSC600 and IEDSim were used as test equipment. The SSC600 is ABB’s centralised protection and control device for substations. IEDSim is an IEC 61850 supporting signal generator for ABB’s internal use. The main test automation software of this work is the Robot Framework, which was expanded with Python. The work presents in more detail the differences between test automation and manual testing, as well as Robot Framework at the general level.
The test automation implementation includes tests based on IEC 61850 and IEC 60255-151 standards. From the IEC 61850 standard, the first subtest of the GOOSE communication protocol performance testing has been selected and from the IEC 60255-151 standard, the test of the operating value and reset ratio. In the case of IEC 60255-151, the time-delayed overcurrent protection PHLPTOC has been selected as the protection function block to be tested. The results of the tests of this master’s thesis were within the limits allowed by the standards. The result of the IEC 61850-10 GOOSE performance test was that GOOSE transfer time is less than the acceptance criteria. During the implementation, deficiencies were found in the functionality of IEDSim, due to which the test could not be completed to the extent required by the standard. However, after the development of IEDSim, the test can be extended to conform to the standard. The results of the IEC 60255-151 operate and reset ratio tests were within the operating accuracy of the SSC600 technical manual and the tests included steps required by the standard.
All the tests passed, and the results were within the ranges defined by the standards. Successfully performed tests prove that the SCC600 functions as required by the standards. This was expected, as tests according to the standards have been tested before the product was re-leased, but now testing was made easier with test automation. Tests according to the standards were successfully implemented in this work. The development work achieved in the work can therefore be considered successful and the development work can be continued to increase test automation in software testing.
Tämän työn tavoitteena oli toteuttaa testiautomaatiototeutus ABB:n keskitetyn suojauksen ja ohjauksen laitteelle, SSC600:lle. Toteutuksessa haluttiin luoda testit standardien IEC 60255-151 ja IEC 61850 mukaisesti. Standardit määrittelevät testauksessa toteutettavat vaiheet sekä tuloksille sallitun vaihteluvälin. Työn teoriapohjana käytettiin standardeja IEC 61850-10 ja IEC 60255-151. IEC 61850 standardi standardisoi älykkäiden laitteiden välisen tiedonsiirron sähkölaitosautomaatiojärjestelmissä. IEC 60255-151 standardi keskittyy yli- ja alivirtasuojauksen testaamiseen. Tämä diplomityö keskittyy etenkin aikaviivästetyn ylivirtasuojauksen (engl. time delayed phase overcurrent protection) testaamiseen.
Testilaitteina oli käytössä SSC600 ja IEDSim. SSC600 on ABB:n sähköasemille tarkoitettu keskitetyn suojauksen ja ohjauksen laite. IEDSim on ABB:n sisäiseen käyttöön tehty signaaligeneraattori, joka tukee IEC 61850 standardia. Pääasiallinen testiautomaatio-ohjelmisto tämän työn toteutuksessa on Robot Framework, jota laajennettiin Pythonilla. Työ esittelee tarkemmin testiau-tomaation ja manuaalisen testauksen välisiä eroja sekä Robot Frameworkia yleisellä tasolla.
Testiautomaatiototeutus sisältää testit, jotka pohjautuvat IEC 61850 ja IEC 60255-151 stand-ardeihin. IEC 61850 standardista toteutukseen on valittu GOOSE viestiprotokollan suorituskykytestauksen ensimmäinen osatesti ja IEC 60255-151 standardista toiminta-arvon (engl. operate value) ja palautumissuhteen (engl. reset ratio) testaus. IEC 60255-151 standardin kohdalla testattavaksi suojalohkoksi on valikoitunut aikaviivästetty ylivirtasuoja PHLPTOC. Diplomityössä toteutettujen testien tulokset olivat standardien sallimissa rajoissa. IEC 61850-10 GOOSE suorituskykytestin tulokseksi saatiin, että GOOSE viestit kulkevat alle standardin asettaman maksimihyväksymiskriteerin. Toteutusta tehdessä kuitenkin havaittiin IEDSimin toiminnallisuuteen liittyviä puutteita, joiden takia testiä ei saatu suoritettua standardin vaatimassa laajuudessa. Kuitenkin IEDSimin kehitystyön jälkeen testi voidaan laajentaa standardin mukaiseksi. IEC 60255-151 mukaiset toiminta-arvo- ja palautumissuhdetestien tulokset olivat SSC600 teknisen manuaalin asettamien toimintatarkkuuksien sisällä ja testit toteuttivat IEC 60255-151 standardin vaatimat vaiheet.
Kaikki toteutetut testit menevät onnistuneesti läpi ja lukuarvotulokset ovat standardien määrittelemien vaihteluvälien sisällä. Onnistuneesti suoritetut testit osoittavat, että SCC600 toimii kuten standardit vaativat. Tämä oli odotettua, sillä standardien mukaisesti testit on suoritettu ennen tuotteen julkaisua, mutta nyt testaamista saatiin helpotettua testiautomaatiolla. Tässä työssä toteutettiin standardien mukaiset testit onnistuneesti. Työssä aikaan saatua kehitystyötä voidaan pitää näin ollen onnistuneena ja kehitystyötä voidaan jatkaa testiautomaation lisäämiseksi ohjelmistotestauksessa.