Measurement system analysis of a drive testing laboratory

Abstract

Quality management system (QMS) standards contain various guidelines and requirements as well as a set of policies, processes, procedures and responsibilities required for coordinating and directing an organization’s activities. Implementation of a QMS helps to achieve continual improvement and to produce high-quality products and services. At Danfoss Drives Finland sites, an international ISO 9001:2015 based automotive QMS standard, IATF 16949:2016, has been implemented to guide the activities of the organizations. The QMS has been audited and approved by Bureau Veritas. At Danfoss, quality and customer satisfaction are paramount. Therefore, the company strives to meet the highest standards of the IATF 16949:2016 QMS requirements also in the future. This thesis focuses on IATF 16949:2016 QMS standard requirements concerning the Danfoss Drives Finland R&D Test, Validation and Labs organization’s “monitoring and measuring resources”. The QMS standard requires that the validity and reliability of results of each type of inspection, measurement and test equipment system identified in the control plan (CP) needs to be verified by executing statistical studies. A typical way to quantify the sources of variation in measurements is to perform a measurement system analysis (MSA) study. Measurement system analysis (MSA) is one of the five IATF core tools. MSA in general can be described as a set of scientific tools that are used to assess the adequacy of a measurement system for a given measurement process. MSA tools can be used to investigate bias, linearity, stability, repeatability and reproducibility of a measurement system. Bias, linearity and stability describe the accuracy of the measurement system, whereas repeatability and reproducibility are used to describe its preciseness. In general, a measurement system in its entirety consists of measurement instruments or gauges, standards, operations, methods, fixtures, software as well as personnel required to validate a specific unit of measure or make an evaluation of a feature or characteristic being measured. This thesis complements the organization's previous study on the subject, which ignored the appraiser variation by only focusing on the performance of the measurement equipment. Since it has been noticed that the variation in measurement results due to the person performing the measurements (the appraiser) can be quite significant, this thesis focuses on methods which also consider the variation due to appraisers. Compared to previous study, this thesis also deals with alternative ways to analyze measurement data as well as to evaluate the acceptability of a measurement system. In the experimental part of the thesis, gage repeatability and reproducibility (gage R&R) study was performed for current, voltage and audible noise characteristics by using the LCL filter verification process. As a result of the study, it was found above all that in common mode voltage measurements the results varied between the appraisers due to different measurement instrument settings. There was also, for some unknown reason, a clear systematic difference in measurement results in common mode voltage measurements between the measurement rounds. The goal for the thesis was met. In future IATF 16949 audits, the organization can prove that statistical studies have been performed to verify the validity and reliability of the measurement results. The measurement systems analyzed were found to be suitable for the LCL filter verification measurements.

Laadunhallintajärjestelmiä koskevat standardit sisältävät erilaisia ohjeita ja vaatimuksia kuin myös käytäntöjä, prosesseja, menettelytapoja sekä vastuita organisaation toiminnan ohjaamiseksi. Laadunhallintajärjestelmän käyttöönotto auttaa tuottamaan korkealaatuisia tuotteita ja palveluita sekä saavuttamaan jatkuvia parannuksia pitkällä aikavälillä. Danfoss Drives Suomen toimipisteillä on otettu käyttöön kansainväliseen ISO 9001:2015 -standardiin pohjautuva autoteollisuuden laadunhallintastandardi, IATF 16949:2016, ohjaamaan organisaatioiden toimintaa. Bureau Veritas on auditoinut laadunhallintajärjestelmän, ja sen on todettu täyttävän standardin vaatimukset. Danfossille laatu ja asiakastyytyväisyys ovat ensiarvoisen tärkeitä. Tämän vuoksi IATF 16949:2016 -standardin korkeat vaatimukset pyritään täyttämään myös tulevaisuudessa. Työ keskittyy IATF 16949:2016 -standardin vaatimuksiin, jotka koskevat tuotekehityksen testausorganisaation monitorointi- ja mittausresursseja. Standardi vaatii, että kaikkien ohjaussuunnitelmassa mainittujen testaus- ja mittausjärjestelmien tulosten paikkansapitävyys ja luotettavuus on varmistettava tilastollisilla tutkimuksilla. Tyypillinen tapa tunnistaa mittauksissa ilmenevän vaihtelun lähteet on suorittaa mittausjärjestelmän analyysi (engl. measurement system analysis, MSA). MSA on yksi viidestä IATF:n työkalusta. MSA voidaan yleisellä tasolla kuvata joukkona tieteellisiä työkaluja, joita käytetään arvioimaan mittausjärjestelmän kyvykkyyttä mitata jonkin tietyn prosessin vaihtelua. MSA-työkaluja voidaan käyttää mittausjärjestelmän systemaattisen virheen, lineaarisuuden, stabiiliuden, toistettavuuden sekä uusittavuuden tutkimiseen. Systemaattinen virhe, lineaarisuus ja stabiilius kuvaavat mittausjärjestelmän tarkkuutta, kun taas toistettavuutta ja uusittavuutta käytetään kuvaamaan mittausjärjestelmän täsmällisyyttä. Yleisesti mittausjärjestelmä kokonaisuutena koostuu mittauslaitteista tai mittareista, standardeista, toiminnoista, menetelmistä, kiinnikkeistä (engl. fixtures), ohjelmistoista sekä henkilöstöstä; kaikesta mitä tarvitaan jonkin mitattavan suureen validointiin tai ominaispiirteen tai ominaisuuden arviointiin. Tämän diplomityön tarkoitus on täydentää organisaation aikaisempaa aiheeseen liittyvää tutkimusta. Edellinen tutkimus ei huomioinut mittaajasta aiheutuvaa vaihtelua, vaan keskittyi puhtaasti mittauslaitteiston suorituskyvyn arviointiin. On havaittu, että mittaajasta aiheutuva vaihtelu voi toisinaan olla varsin merkittävää, ja siksi tässä työssä huomioidaan erityisesti mittaajasta aiheutuva vaihtelu mittaustuloksiin. Edelliseen tutkimukseen verrattuna tämä opinnäytetyö käsittelee myös vaihtoehtoisia tapoja analysoida mittaustuloksia sekä arvioida mittausjärjestelmän käyttökelpoisuutta. Opinnäytetyön kokeellisessa osassa suoritettiin mittauksen toistettavuuden ja uusittavuuden (engl. gage repeatability and reproducibility, gage R&R) tutkimus virran, jännitteen ja meluominaisuuksien suhteen LCL-suodattimen verifiointimittausympäristössä. Tutkimuksen tuloksena havaittiin, että yhteismuotoisen jännitteen mittaustulos vaihteli mittaajien välillä erilaisten mittalaiteasetusten vuoksi. Mittauskierrosten välillä vaikutti myös jokin tuntematon muuttuja, joka aiheutti selkeän systemaattisen eron yhteismuotoisen jännitteen mittaustulokseen. Työn tavoite saavutettiin. Tulevissa IATF 16949 -auditoinneissa organisaatio on kykenevä osoittamaan, että tulosten paikkansapitävyyden ja luotettavuuden varmentamiseksi on suoritettu tilastollisia tutkimuksia. Analysoitujen mittausjärjestelmien todettiin olevan soveltuvia tutkimuksessa suoritettuihin mittaustehtäviin.