MLOps é um conjunto de práticas que visa otimizar e automatizar os fluxos de trabalho de machine learning. Ao integrar as práticas de DevOps nos processos de aprendizado de máquina, o MLOps busca simplificar as operações, garantindo que os modelos de machine learning sejam desenvolvidos, implementados e mantidos de forma eficiente e confiável. Isso permite que as equipes de ciência de dados e engenharia foquem na inovação e no desenvolvimento de modelos mais eficazes.
Por que precisamos de MLOps?
No fluxo de trabalho de machine learning, muitas vezes passamos por etapas como análise exploratória de dados (EDA), preparação de dados, treinamento e ajuste de modelos, além da implantação e monitoramento. O objetivo é garantir que o modelo esteja pronto para produção, mas nem sempre é o que acontece. Frequentemente, é necessário repetir todo o processo e treinar o modelo novamente.
Os fluxos de trabalho de machine learning costumavam ser manuais, envolvendo diversas equipes em diferentes etapas. Isso demandava muito tempo e esforço para manter todo o processo. A automação e otimização desses processos manuais aceleram o tempo de lançamento do produto, além de reduzir erros e riscos, permitindo o gerenciamento e monitoramento de milhares de modelos de machine learning de forma escalável.
Com o MLOps, cientistas de dados e engenheiros podem se concentrar no desenvolvimento de modelos e na inovação, em vez de gastar tempo em tarefas manuais e repetitivas. Isso não só aumenta a eficiência, mas também impulsiona a qualidade e a relevância dos modelos de machine learning implementados.
Componentes-chave do MLOps
O ciclo de vida do aprendizado de máquina possui várias etapas interconectadas e todos esses componentes-chave juntos formam o MLOps. Guias de MLOps de empresas como AWS, Google, IBM e Databricks seguem os mesmos componentes-chave.
Gerenciamento de Dados
Dados são o novo petróleo. Para machine learning, os dados são cruciais para o sucesso de um modelo, sendo a espinha dorsal de qualquer modelo de aprendizado de máquina. Obter os dados corretos, armazená-los, pré-processá-los para o desenvolvimento do modelo e controlar as versões são aspectos muito importantes.
Esta etapa consiste principalmente na Análise Exploratória de Dados (EDA), que inclui explorar e entender os dados. A preparação de dados e a engenharia de recursos também fazem parte desta etapa, que inclui a coleta e o processamento de dados.
A engenharia de recursos pré-processa os dados brutos em um formato legível por máquina. Ela otimiza o desempenho do modelo de ML, transformando e selecionando recursos relevantes.
Em algumas implementações de MLOps, EDA e preparação de dados são separadas em duas etapas distintas.
Algumas das ferramentas usadas para gerenciamento de dados incluem:
- Controle de versão de dados: Data Version Control (DVC), Delta Lake, MLflow.
- Armazenamento e gerenciamento de dados: Amazon S3, Google Cloud Storage, Azure Blob Storage, Google BigQuery, Amazon RedShift, Snowflake
- Preparação de dados: Apache Airflow, Databricks
Desenvolvimento de Modelos
Esta etapa envolve o design, treinamento, ajuste e avaliação de modelos de aprendizado de máquina.
Algumas das ferramentas e serviços usados como parte do desenvolvimento do modelo incluem:
- Frameworks de desenvolvimento de modelo: Tensorflow / Keras, PyTorch, Scikit-learn
- Rastreamento e gerenciamento de experimentos: MLflow
- AutoML: Amazon SageMaker Autopilot, Google AutoML, Azure Machine Learning Studio
- IDEs: Jupyter Notebooks, R studio, VS Code, etc
Implantação de Modelos
A implantação de modelos foca em empacotar modelos, enviá-los e implantá-los em ambientes de produção. Esta etapa garante que o modelo esteja acessível por meio de uma API, microsserviço ou aplicação.
As ferramentas e serviços usados para inferência, veiculação e implantação de modelos incluem:
- Contêineres e orquestração: KServe + plataformas Kubernetes como Amazon EKS, GKE, Azure Kubernetes service.
- Serviços gerenciados de implantação de modelos: Amazon Sagemaker, Google Vertex AI, Azure Machine Learning
- Veiculação de modelos: Kubeflow, TorchServe, TensorFlow Serving
Inferência e Servidor de Modelos
A inferência e o servidor de modelos envolvem disponibilizá-lo para uso por aplicações e usuários finais. Ele se concentra em consultar o modelo implantado para gerar previsões.
Serviços como Amazon SageMaker Endpoints, Google Vertex AI Endpoints, Azure Machine Learning Endpoints, TensorFlow Serving, KServe e MLflow Models são usados.
Monitoramento de Modelos
Após a implantação, o monitoramento contínuo é essencial para garantir que os modelos tenham o desempenho esperado e mantenham sua precisão ao longo do tempo.
Prometheus + Grafana é a stack de código aberto para monitoramento, sendo uma boa opção para começar. Serviços de monitoramento de modelo: AWS SageMaker Model Monitor, Evidently. Também existem soluções de monitoramento personalizadas, como os pipelines do Kubeflow.
Governança e Conformidade
Este componente-chave garante que os modelos de ML sejam desenvolvidos e implantados de forma responsável e ética.
A explicabilidade do modelo pode ser feita usando Local Interpretable Model-agnostic Explanations (LIME) e SHAP (SHapley Additive exPlanations). MLflow oferece suporte à auditoria e conformidade. Amazon Macie lida com a segurança. A linhagem de dados e modelos pode ser feita usando MLflow, Amazon SageMaker Model Registry e Google Cloud Vertex AI Model Registry.
Retreinamento Automatizado de Modelos
O retreinamento automatizado de modelos envolve retreinar o modelo de ML quando seu desempenho se degrada ou quando novos dados ficam disponíveis. Nesta etapa, o retreinamento do modelo é acionado quando condições específicas são atendidas. Em seguida, o modelo é retreinado usando os dados mais recentes e, por fim, o modelo retreinado é avaliado.
Com a crescente adoção do machine learning, a importância do MLOps nunca foi tão grande. MLOps ajuda a automatizar e otimizar as operações de aprendizado de máquina. As ferramentas ou serviços escolhidos para MLOps dependem se você está executando na AWS, Google, Azure, Databricks, bare metal ou opensource.
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via dev.to