Por vezes, o inexperiente Black Belt (e sujeito a pressões da gestão) vê-se confrontado nos seus projetos, com a necessidade de desenvolver um planeamento rudimentar da experiência que se pretende realizar. O propósito deste artigo é mostrar as boas práticas e os pontos a ter em consideração, se quisermos obter um verdadeiro retorno do tempo dedicado à experiência. Tal impedirá que tudo se transforme num verdadeiro desperdício e que a própria equipa saia desmoralizada deste processo.
Palavras-chave: planeamento, aleatoriedade, método científico
Enquadramento
Segundo a experiência do autor, não raras vezes, realizam-se experiências sem o devido cuidado ou planeamento, pondo-se assim em causa a qualidade das conclusões e o próprio conhecimento gerado.
Nas próximas linhas, assume-se que existe um suficiente conhecimento técnico, por parte da equipa, quanto à pergunta que se quer ver respondida, no decorrer de um projeto de Lean Six Sigma. Mas, em complemento a isso, é igualmente importante garantir que existe um bom plano de recolha de dados, um protocolo e uma checklist. Quando se tem a intenção de se desenvolver uma experiência (teste), a sequência do pensamento deverá ser:
Fazer um rascunho do plano de recolha de dados (alto-nível)
Desenvolver o protocolo
Finalizar o plano de recolha de dados
Desenvolver a checklist respetiva
Reavaliar e aperfeiçoar os pontos anteriores, antes de se se realizar a experiência.
Especificamente, usemos um exemplo para descrever pormenorizadamente os primeiros três pontos.
Estudo de caso
Consideremos um sistema mecânico composto por diversos componentes e órgãos de máquinas. É sabido que para o seu correto funcionamento é necessário que o mesmo esteja bem lubrificado, com um determinado tipo e quantidade de óleo. Devido a diversos fatores, o óleo vai-se degradando e ficando com mais e mais impurezas até ao momento que precisa ser trocado. Para que se prolongue a vida do mesmo e de todos os órgãos envolvidos no sistema em causa existe um filtro de óleo. O objetivo principal deste filtro é impedir, tanto quanto possível, que essas impurezas circulem por todo o sistema, pois de contrário elas degradarão, mais rapidamente, todas as peças e componentes envolvidos. De forma simples, o filtro funciona como um passador (do mesmo modo quando o vinho fica com resíduos ou até com bocados da rolha e decantamo-lo para o «purificar»).
1. Plano de recolha de dados
Assim, e para um filtro específico poderemos legitimamente perguntar: Será que reduzindo a malha do filtro, o óleo ficará mais limpo, sempre que por lá passar?
Esta é a pergunta que está na origem do teste de hipóteses e que nos conduzirá a uma experiência real. A equipa poderá considerar que a malha atual de 20 mícron de metro poderá ser insuficiente, se houver em sistema impurezas com metade desse tamanho. Nesse caso, será legítimo afirmar que haverá partículas que não estarão a ser filtradas. O teste de hipóteses respetivo é então formulado:
H0: a dimensão da malha não tem impacto na qualidade da filtragem.
H1: a dimensão da malha tem impacto na qualidade da filtragem.
Por esta altura valerá sempre a pena fazer-se um esquema, para que toda a equipa entenda o que está em jogo (ver fig. 1). Ter uma boa qualidade da filtragem é, de algum modo, obter-se um bom delta no que diz respeito à diferença do peso das impurezas, quando se recolhe uma amostra de óleo na secção a e b. No plano de recolha de dados explicita-se, igualmente os dados de saída e os dados de entrada.
Fig. 1. Circuito fechado do óleo, com passagem pelo filtro F.
Neste caso, está claro que o y (variável de saída) será a diferença de peso das impurezas, para um determinado volume de óleo, entre as secções a e b. Quanto às variáveis de entrada poderemos fazer uma experiência com dois ou mais níveis (ou populações). Isto é, poderíamos testar o circuito com apenas filtros de 20 e 10 mícron ou antes com 30, 20, 10 e 5 mícron. Naturalmente que haverá uma relação de compromisso entre o conhecimento gerado e o tempo ou esforço investido. Para o efeito, vamos assumir que a experiência será realizada com apenas dois níveis: 20 e 10. Com base nas definições anteriores não é difícil entender que a variável de saída é contínua (peso numa balança) e a variável de entrada é discreta nominal (20 mícron Vs 10 mícron).
O facto de classificarmos a natureza dos dados (se contínuos ou discretos), permite-nos identificar o tipo de teste de hipóteses mais adequado. Poderá ser um teste t-student 2t, no caso das amostras seguirem uma distribuição aproximadamente normal ou, em alternativa, ter-se-á que fazer um teste não paramétrico de Mann-Whitney. Outro campo relevante em qualquer plano de recolha de dados é o da dimensão da amostra. Nesta fase podemos ainda não ter ideia da dimensão da amostra a usar, mas em função das diferenças que queremos detetar (operacionalidade prática do teste) e da monitorização do desvio-padrão acumulado ficará evidente, no decorrer da experiência, se iremos necessitar de mais ou menos amostras. Para mais informação sobre este tema, consultar a referência [1] e [2].
Debrucemo-nos agora para o protocolo da experiência, e que nos ajudará a fechar o plano de recolha de dados (no ponto 3).
2. Protocolo
O protocolo não é mais do que a descrição, passo a passo, de como a experiência deve ser executada e sequenciada. No decorrer deste exercício, a equipa precisará ter em consideração outros pressupostos, riscos e restrições.
Pressupostos
Assume-se que nem todos os filtros, mesmo com a mesma malha têm o mesmo desempenho. Por exemplo, ter-se a infelicidade de se usar um filtro defeituoso, pondo em causa a qualidade das conclusões. Consequentemente, fará sentido usar na experiência mais do que um filtro de cada tipo. Por outro lado, será razoável admitir que um filtro novo terá um desempenho constante nas suas primeiras horas de vida. Isto é, a depender apenas do filtro, o delta entre (a) e (b) deverá ser razoavelmente constante. Este pressuposto é importante porque permite-nos recolher mais amostras (réplicas), com os mesmos filtros.
Restrições
Imagine-se então que por questões de orçamento ou praticidade temos apenas 3 novos filtros de 20um e 3 novos filtros de 10um. Por outro lado, como nunca conhecemos todas as variáveis de ruído que estão em jogo é sempre mais seguro (e credível) tornar a experiência totalmente aleatória (ou tanto quanto possível). Tal aumentará a probabilidade dos efeitos provenientes das variáveis de ruído se anularem entre si e com isso aumentarmos a qualidade das nossas conclusões. Na prática, o que se está a dizer é que às vezes o filtro em sistema é de 10um e outras vezes é de 20um, mas será o Minitab a indicar-nos a ordem pela qual as experiências serão realizadas, em vez de uma ordem standard que pudesse ser mais conveniente aos olhos do experimentador (por exemplo, fazer sempre primeiro com filtros de 20 e só depois fazer sempre com filtros de 10).
Cada filtro é devidamente identificado, segundo a coluna C1-D. A sequência pela qual se realizará toda a experiência descreve-se em C2-D. O primeiro filtro a ser usasdo na experiência é, pois, o segundo filtro de 10 mícron. Segundo o pressuposto já enunciado tomou-se a decisão de espaçar as medições a cada 4-6 horas (tempo decorrente entre amostras).
Fig. 2. Na coluna 1, os 6 filtros que serão usados na experiência (malha.número). Na coluna 2, a ordem pela qual se fará a experiência.
Estamos assim em condições de desenhar a sequência de toda a experiência (fig. 3). Repare-se que uma aleatoriedade «pura» seria dar a liberdade ao Minitab para poder não fazer cada filtro específico todo de seguida, mas nem sempre é possível respeitar na íntegra todas as boas práticas. Vamos finalmente à descrição do protocolo, passo a passo. A equipa acredita que o seguinte modus operandi ajudará a tornar toda a experiência mais verosímil e suscetível a menos variabilidade, ou erros de execução / medição:
Fig. 3. Excerto da sequência para as primeiras 11 observações.
Instalar um novo filtro (20) no sistema e pô-lo a correr por uma hora.
Tirar uma colheita de óleo de 300 ml, antes do filtro (a).
Tirar uma colheita de óleo de 300 ml, depois do filtro (b).
Adicionar 600 ml de óleo novo ao sistema.
Pesar as impurezas respetivas das colheitas, segundo o procedimento XPTO.
Calcular a diferença das impurezas (a) - (b).
Deixar passar entre 4 e 6 horas e repetir os pontos de 2 a 6.
Replicar o passo 7 mais 5 vezes.
Verificar qual é a próxima experiência e voltar ao ponto 1.
Repetir todo o protocolo até à experiência 6.
Riscos
A equipa acredita que retirar 300ml de óleo será uma quantidade suficiente para se conseguir detetar diferenças nos pesos (pressuposto), mas no caso deste pressuposto ser falso temos então um risco de toda a experiência se poder tornar erradamente inconclusiva. Na verdade, o protocolo é um processo iterativo até que a equipa esteja confortável com a última atualização dos pressupostos, restrições, riscos e à própria sequência dos passos. Por exemplo, um elemento da equipa lembrou-se de dois pressupostos «escondidos»:
toda a experiência está a assumir uma certa linearidade. Se em 300 ml se apanhar, por exemplo, 6g de sujidades, então em 7 litros (quantidade de óleo existente em sistema) haverá perto de140g. Tal implica uma distribuição homogénea de todas as impurezas pelo sistema e óleo.
o tempo passado entre experiências e a quantidade de óleo depositado no final de cada experiência (600ml) não conduz a uma tendência nos deltas da experiência com o passar do tempo (independência dos resíduos estatísticos no decorrer da experiência).
3. Finalizar o plano de recolha de dados
Com base nas informações anteriores podemos agora completar mais alguns campos do plano de recolha de dados, identificados a azul (os restantes vinham do ponto 1):
Pergunta
Teste de hipóteses
Natureza dos dados
Tipo de teste de hipóteses
Dimensão da amostra
Frequência das medições e quando
Quem mede
Validação do sistema de medição
Ferramentas visuais para interpretar os dados
Fig. 4. Excerto dos dados já apurados (experiências a decorrerem). A coluna C8 corresponde ao ponto 6 do protocolo.
Conclusão
O artigo pretende mostrar que a qualidade da experiência e das conclusões está fortemente dependente da qualidade do próprio planeamento. Pode-se mesmo dizer que a qualidade de toda a experiência é diretamente proporcional à qualidade dos pressupostos listados (e mais haveria), e sobre os quais a experiência é delineada e executada.
REFERÊNCIAS
[1] Castro, Ricardo A. (2020) Cálculo na dimensão de uma amostra - Parte I.
[2] Castro, Ricardo A. (2020) Cálculo na dimensão de uma amostra - Parte II.
[3] Montgomery, D. (2001) Introduction to Design and Analysis of Experiments. John Wiley & Sons, Inc, 5th Edition.
Comments