Política de Garantia de Qualidade

Introdução

Na Lingvanex, nosso Plano de Garantia de Qualidade é uma parte fundamental da nossa estratégia de gerenciamento de projetos, garantindo que nosso software Lingvanex baseado em AI Enterprise Translation atenda aos requisitos, objetivos e padrões estabelecidos ao ser entregue aos clientes. Este processo é projetado para minimizar o risco de defeitos, atrasos e estouros de custos, evitando potenciais interrupções do projeto e garantindo a satisfação do cliente. Ao implementar um plano de garantia de qualidade robusto, fornecemos às partes interessadas e aos clientes a confiança de que nossas traduções são precisas, confiáveis ​​e da mais alta qualidade. Esta política descreve a abordagem estruturada que adotamos para atingir e manter esses padrões de qualidade em nossas soluções, garantindo que o produto final atenda ou exceda consistentemente suas expectativas.

Objetivos

• Entregue traduções de alta qualidade que atendam ou excedam os padrões internacionais do setor.
• Obtenha resultados de testes de qualidade de modelos de linguagem que se ajustem ou excedam os padrões de qualidade do setor nas métricas COMET e BLEU para todos os pares de idiomas.
• Garanta que a solução seja confiável, escalável e fácil de integrar aos aplicativos do cliente.
• Minimize defeitos e garanta a resolução oportuna de problemas.

Partes interessadas e funções

• Gestor de projeto. Supervisionar a execução do projeto, gerenciar cronogramas e recursos e garantir a comunicação entre as partes interessadas.
• Equipe de desenvolvimento. Desenvolva a solução de tradução, implemente recursos, corrija bugs e otimize o desempenho.
• Equipe de Garantia de Qualidade. Realize testes, monitore métricas de qualidade, identifique e resolva defeitos e garanta a conformidade com os padrões de qualidade.
• Equipe ML. Treine e ajuste modelos de linguagem de ML, avalie o desempenho do modelo e implemente melhorias.
• Equipe Linguística. Compilar e validar conjuntos de dados de teste, avaliar saídas de modelos, classificar e analisar erros, fornecer conhecimento especializado sobre precisão de linguagem e dar suporte à avaliação de modelos.
• Clientes/Clientes. Forneça requisitos, feedback e valide a solução.

Processos e procedimentos de garantia de qualidade para treinamento de modelo de linguagem ML

Coleta de Requisitos

• Finalidade do modelo. Que tarefa específica o modelo deve executar?
• Requisitos de dados. Tipo, volume e qualidade dos dados de treinamento necessários.
• Métricas de avaliação. Como o sucesso do modelo será medido (por exemplo, pontuação BLEU, avaliação humana)
• Considerações éticas. Identifique possíveis vieses nos dados e garanta que os resultados do modelo sejam justos e imparciais.

Desenvolvimento

• Metodologia Ágil. Divida o processo de treinamento em ciclos menores e iterativos.
• Integração contínua. Integre e teste regularmente as alterações de código.
• Controle de versão. Acompanhe alterações na arquitetura do modelo e nos parâmetros de treinamento.

Testando

• Validação de dados. Garanta que os dados estejam limpos, formatados corretamente e livres de erros.
• Teste de código. Verifique o código em busca de erros que possam afetar a estabilidade ou a convergência do treinamento.
• Teste de integração. Garanta que diferentes componentes da solução funcionem perfeitamente juntos.

Teste de Sistema (Avaliação de Modelo)

• Avalie o desempenho do modelo em relação a métricas predefinidas usando dados de teste retidos.
• Analise os resultados em busca de possíveis vieses ou erros.
• Certifique-se de que os modelos não excedam o tamanho de aproximadamente 184 MB para melhor desempenho.

Teste de aceitação

• Envolva especialistas humanos (equipe linguística) para avaliar as saídas do modelo quanto à fluência, precisão e alinhamento com os requisitos.
• A Linguistic Team avalia a qualidade das traduções anotando os resultados dos testes, identificando quais configurações produzem traduções corretas e destacando iterações com traduções bem-sucedidas ou ruins. Isso pode levar a treinamento adicional ou ajustes nas configurações.

Teste de desempenho

• Avalie o desempenho do modelo sob diversas cargas de dados e condições do mundo real.
• Faça uma comparação com modelos alternativos, se aplicável.

Teste de regressão

• Retreine o modelo com dados atualizados e reavalie o desempenho para garantir que não haja degradação.
• Monitore o desempenho do modelo em produção para detectar qualquer desvio ao longo do tempo.

Gestão de Defeitos

• Problemas de qualidade de dados. Problemas como valores ausentes ou inconsistências nos dados.
• Erros de treinamento. Desafios como problemas de convergência ou overfitting durante o treinamento do modelo.
• Deficiências na saída do modelo. Problemas com a saída, incluindo resultados factualmente incorretos ou tendenciosos.
• Análise de erros. Linguistas analisam traduções em busca de erros, classificam esses erros e, quando possível, identificam suas causas raiz. A equipe técnica então usa essas informações para fazer correções, que são testadas para verificar se o problema persiste ou foi resolvido.

Processos de Aprovação

• Qualidade de dados. Antes do início do treinamento.
• Desempenho do modelo. Durante iterações de desenvolvimento.
• Modelo final. Antes da implantação.

Métricas de qualidade e indicadores-chave de desempenho

Métricas de qualidade

• Avaliamos a qualidade dos nossos modelos calculando métricas nos conjuntos de dados de teste flores200 e NTREX-128 e usando nossos próprios conjuntos de dados de teste compilados pela equipe de linguistas.

Indicadores-chave de desempenho (KPIs)

• Satisfação do cliente. Meça por meio de pesquisas e feedback.
• Tempo de atividade e confiabilidade. Monitore o tempo de atividade do sistema e as métricas de confiabilidade.
• Escalabilidade. Avalie o desempenho do sistema sob condições de carga crescente.
• Taxa de sucesso de integração. Porcentagem de integrações bem-sucedidas com aplicativos clientes.

Atualizações do Plano de Garantia da Qualidade

Avaliações regulares

• Programe revisões periódicas do plano de garantia de qualidade.
• Analise métricas de qualidade e KPIs para identificar áreas de melhoria.
• Atualizar processos, procedimentos e documentação com base nas descobertas da revisão.

Melhoria Contínua

• Promova uma cultura de melhoria contínua.
• Incentive o feedback de todas as partes interessadas e incorpore-o ao processo de garantia de qualidade.
• Implemente as melhores práticas e lições aprendidas de projetos anteriores.