Politica di garanzia della qualità

Introduzione

In Lingvanex, il nostro piano di garanzia della qualità è una parte fondamentale della nostra strategia di gestione dei progetti, che garantisce che il nostro software Lingvanex basato su AI Enterprise Translation soddisfi requisiti, obiettivi e standard stabiliti durante la consegna ai clienti. Questo processo è progettato per ridurre al minimo il rischio di difetti, ritardi e sforamenti di costi, prevenendo potenziali interruzioni del progetto e garantendo la soddisfazione del cliente. Implementando un solido piano di garanzia della qualità, forniamo alle parti interessate e ai clienti la certezza che le nostre traduzioni sono accurate, affidabili e della massima qualità. Questa politica delinea l'approccio strutturato che adottiamo per raggiungere e mantenere questi standard di qualità nelle nostre soluzioni, assicurando che il prodotto finale soddisfi o superi costantemente le loro aspettative.

Obiettivi

• Forniamo traduzioni di alta qualità che soddisfano o superano gli standard internazionali del settore.
• Ottieni risultati dai test di qualità dei modelli linguistici che soddisfano o superano gli standard qualitativi del settore sulle metriche COMET e BLEU per tutte le coppie di lingue.
• Assicurarsi che la soluzione sia affidabile, scalabile e facile da integrare nelle applicazioni client.
• Ridurre al minimo i difetti e garantire la tempestiva risoluzione dei problemi.

Parti interessate e ruoli

• Responsabile del progetto. Supervisionare l'esecuzione del progetto, gestire tempi e risorse, garantire la comunicazione tra le parti interessate.
• Team di sviluppo. Sviluppare la soluzione di traduzione, implementare funzionalità, correggere bug e ottimizzare le prestazioni.
• Team di garanzia della qualità. Eseguire test, monitorare i parametri di qualità, identificare e risolvere i difetti e garantire la conformità agli standard di qualità.
• Squadra ML. Addestrare e perfezionare modelli di linguaggio ML, valutare le prestazioni dei modelli e implementare miglioramenti.
• Team Linguistico. Compilare e convalidare set di dati di prova, valutare gli output del modello, classificare e analizzare gli errori, fornire competenze sull'accuratezza del linguaggio e supportare la valutazione del modello.
• Clienti. Fornire requisiti, feedback e convalidare la soluzione.

Processi e procedure di garanzia della qualità per la formazione del modello linguistico ML

Raccolta dei requisiti

• Scopo del modello. Quale compito specifico dovrebbe svolgere il modello?
• Requisiti dei dati. Tipologia, volume e qualità dei dati di formazione necessari.
• Metriche di valutazione. Come verrà misurato il successo del modello (ad esempio, punteggio BLEU, valutazione umana)
• Considerazioni etiche. Identificare potenziali distorsioni nei dati e garantire che i risultati del modello siano equi e imparziali.

Sviluppo

• Metodologia Agile. Suddividere il processo di formazione in cicli più piccoli e iterativi.
• Integrazione continua. Integrare e testare regolarmente le modifiche al codice.
• Controllo della versione. Tieni traccia delle modifiche nell'architettura del modello e nei parametri di addestramento.

Prova

• Validazione dei dati. Assicurarsi che i dati siano puliti, formattati correttamente e privi di errori.
• Test del codice. Verificare il codice per individuare eventuali errori che potrebbero influire sulla stabilità o sulla convergenza dell'addestramento.
• Test di integrazione. Garantire che i diversi componenti della soluzione funzionino insieme senza problemi.

Test di sistema (valutazione del modello)

• Valutare le prestazioni del modello rispetto a parametri predefiniti utilizzando dati di test conservati.
• Analizzare gli output per individuare potenziali errori o distorsioni.
• Per ottenere prestazioni migliori, assicurarsi che i modelli non superino le dimensioni di circa 184 MB.

Test di accettazione

• Coinvolgere esperti umani (team linguistico) per valutare la fluidità, l'accuratezza e l'allineamento dei risultati del modello con i requisiti.
• Il team linguistico valuta la qualità delle traduzioni annotando i risultati dei test, identificando quali configurazioni producono traduzioni corrette ed evidenziando le iterazioni con traduzioni riuscite o scadenti. Ciò potrebbe portare a formazione aggiuntiva o modifiche alle impostazioni.

Test delle prestazioni

• Valutare le prestazioni del modello in base a diversi carichi di dati e condizioni reali.
• Se applicabile, effettuare un benchmark rispetto a modelli alternativi.

Test di regressione

• Riaddestrare il modello su dati aggiornati e rivalutare le prestazioni per garantire che non vi sia alcun degrado.
• Monitorare le prestazioni del modello in produzione per rilevare eventuali deviazioni nel tempo.

Gestione dei difetti

• Problemi di qualità dei dati. Problemi quali valori mancanti o incongruenze nei dati.
• Errori di formazione. Sfide come problemi di convergenza o sovradattamento durante l'addestramento del modello.
• Carenze nell'output del modello. Problemi con l'output, inclusi risultati effettivamente errati o parziali.
• Analisi degli errori. I linguisti analizzano le traduzioni per individuare errori, classificano questi errori e, ove possibile, ne identificano le cause profonde. Il team tecnico utilizza quindi queste informazioni per apportare correzioni, che vengono testate per verificare se il problema persiste o è stato risolto.

Processi di approvazione

• Qualità dei dati. Prima che inizi l'allenamento.
• Prestazioni del modello. Durante le iterazioni di sviluppo.
• Modello finale. Prima della distribuzione.

Metriche di qualità e indicatori chiave di prestazione

Metriche di qualità

• Valutiamo la qualità dei nostri modelli calcolando parametri sui set di dati di prova flores200 e NTREX-128 e utilizzando i nostri set di dati di prova compilati dal team di linguisti.

Indicatori chiave di prestazione (KPI)

• Soddisfazione del cliente. Misurare attraverso sondaggi e feedback.
• Tempi di attività e affidabilità. Monitorare i tempi di attività del sistema e le metriche di affidabilità.
• Scalabilità. Valutare le prestazioni del sistema in condizioni di carico crescente.
• Tasso di successo dell'integrazione. Percentuale di integrazioni riuscite con le applicazioni client.

Aggiornamenti del Piano di Garanzia della Qualità

Recensioni regolari

• Pianificare revisioni periodiche del piano di garanzia della qualità.
• Analizzare le metriche di qualità e gli indicatori chiave di prestazione (KPI) per identificare le aree di miglioramento.
• Aggiornare processi, procedure e documentazione in base ai risultati della revisione.

Miglioramento continuo

• Promuovere una cultura di miglioramento continuo.
• Incoraggiare il feedback da tutte le parti interessate e incorporarlo nel processo di garanzia della qualità.
• Implementare le best practice e le lezioni apprese dai progetti passati.