Com a crescente importância dos dados sob o ponto de vista estratégico, empresas de todos os setores enfrentam desafios quase diários para gerenciá-los e para conseguir extrair valor dessas informações.
O Data Mesh é um novo paradigma que promete revolucionar a forma como os negócios organizam e usam seus dados. Seu objetivo é descentralizar informações para garantir entregas mais ágeis e com maior qualidade.
A seguir, vamos entender melhor esse conceito e suas aplicações. Acompanhe!
O que é Data Mesh?
Data Mesh — ou malha de dados, em português — é um novo modelo de arquitetura de dados que funciona de maneira altamente descentralizada, em oposição aos Data Warehouses ou Data Lakes, que concentram todas as informações em um único repositório.
Essa abordagem é derivada do design, orientado por domínios de dados, e vai de encontro à forma como o Big Data era encarado até então, isto é, com a noção de que é necessária uma estrutura centralizada para usufruir de todo o potencial analítico da ferramenta.
O Data Mesh surge em um contexto em que as empresas precisam buscar formas para lidar com os problemas e desafios, associados à enorme escala de dados, que deve ser analisada atualmente. Nesse sentido, essa nova proposta de arquitetura de dados visa um novo modo de organizar e pensar as informações.
A grande promessa do Data Mesh é potencializar e permitir a escalabilidade da análise de dados, garantindo a acessibilidade e a disponibilidade das informações. Esses dois fatores, aliás, são indispensáveis em um cenário em que vemos a proliferação de ferramentas como Machine Learning, e do desenvolvimento de aplicações centradas em dados.
Quais problemas resolve?
As limitações da arquitetura tradicional de dados se mostraram um obstáculo para que as empresas possam, efetivamente, aproveitar todo o potencial das informações que têm à sua disposição, sobretudo no que se refere à otimização de processo e práticas de negócios. Em outras palavras, essa estrutura pode limitar a transformação dos dados em conhecimentos acionáveis.
Diante disso, o Data Mesh traz uma abordagem que permite corrigir algumas das lacunas deixadas pela estrutura vigente de gerenciamento de Big Data.
Primeiramente, as plataformas de dados centralizadas não possuem diversidade de fontes de informações suficientes, e as estruturas de domínio necessárias para a geração de insights a partir desses dados. Isso limita a capacidade de realizar análises mais precisas.
Além disso, na abordagem tradicional, diferentes áreas de uma mesma empresa podem lidar com conjuntos diferentes de dados, sem que haja colaboração, nem interoperabilidade (capacidade de sistemas, pessoas e organizações trabalharem em conjunto, garantindo a troca de informações de maneira eficaz e eficiente).
Com uma arquitetura complexa, as informações ficam nas mãos de poucas pessoas com grande especialização, criando gargalos no pipeline de dados. Assim, é comum que apenas partes das informações circulem de uma equipe para a outra, o que inibe o potencial de transformação, integração e entrega de dados.
Nesse mesmo sentido, os consumidores desses dados frequentemente operam com finalidades divergentes, e isso pode impactar negativamente a produtividade.
Leia mais: Data driven: O que é, quais as vantagens e como as empresas aplicam
Quais os princípios dessa abordagem?
O Data Mesh se baseia em quatro princípios. São eles:
Propriedade de domínio
O Data Mesh propõe descentralizar a propriedade dos dados, movendo para diversos times distribuídos nos domínios. Isso permite utilizar as informações mais próximas às fontes, sem a necessidade de movimentá-las, o que reduz a complexidade da operação, melhora o fluxo de trabalho e reduz custos.
Com a propriedade descentralizada, não há a necessidade se manter uma única cópia dos dados; é possível ter diferentes cópias e criar um modelo que se baseia na relevância e que possibilita distribuir a responsabilidade sobre o uso das informações.
Disponibilização dos dados como produto
Ao distribuir a propriedade dos dados em diferentes domínios, é possível garantir um crescimento mais orgânico. Para evitar que haja problemas relacionados à padronização do acesso e da qualidade das informações, é preciso passar a pensar nos dados como produtos, e não mais somente como serviços ou ativos.
Isso inclui o surgimento de novas funções: Data Product Owner e Data Developer, que assumem a responsabilidade pela definição e desenvolvimento de produtos relacionados aos dados, com o objetivo de proporcionar uma melhor experiência para os clientes.
Quando pensamos nos dados como produtos, é necessário garantir que eles sejam acessíveis e estejam disponíveis. Isso também passa por definir como eles poderão ser acessados e por evitar quaisquer dificuldades de entendimento.
Por óbvio, dados como produtos exigem um cuidado maior com sua qualidade. Para isso, deve-se assegurar que as informações sejam oriundas de fontes confiáveis e que os processos relacionados a elas sejam rastreáveis. Isso é importante para se precaver de problemas relacionados a dados incompletos ou incorretos.
Infraestrutura para disponibilizar os dados como self-service
A descentralização da propriedade dos dados em domínios traz riscos relacionados ao conhecimento e tecnologia de dados, que antes eram concentrados em um só time. Isso poderia levar a um trabalho duplicado nas diferentes equipes.
Surgem, portanto, outras funções, como Data Platform Product Owner e Data Platform Engineer. Elas são responsáveis por reduzir a carga cognitiva dos times de domínio, focando na experiência do cliente e na criação de tecnologias que possam ser adotadas por todos os domínios.
Garantir a conectividade, armazenamento e processamento dos dados também é importante. Para isso, é preciso oferecer uma infraestrutura de dados pronta para ser utilizada e que assegura a interoperabilidade, o armazenamento em diferentes linguagens e um melhor fluxo de trabalho.
Governança federada de dados
A partir dos princípios anteriores, os domínios podem utilizar a plataforma de autosserviço de dados para criar seus produtos. No entanto, times distribuídos, mas que atuam de forma isolada, não são o suficiente para extrair o máximo potencial das informações. Novamente, portanto, é necessário que se tenha interoperabilidade.
A governança federada trata da segurança e precisão dos dados, evitando que eles sejam utilizados de maneira indevida. Isso passa pelo compartilhamento da responsabilidade pela definição das regras globais para uso das informações.
Determinar a sintaxe e a semântica dos dados também é importante, criando padrões e protocolos que façam com que eles sejam, de fato, interoperáveis; inclusive com interfaces comuns para acessá-los pela plataforma de autosserviço.
Leia mais: Data Storytelling: O que é, como implementá-lo e mais
Quais os benefícios do Data Mesh?
Por fim, não podemos deixar de falar dos benefícios do Data Mesh para as empresas. Destacamos dois deles:
- Agilidade e escalabilidade: por conta das operações descentralizadas e da melhor infraestrutura de dados, é possível escalar as análises e tornar os processos mais ágeis. Isso se reflete, por exemplo, na redução do tempo de chegada ao mercado de uma nova solução.
- Governança forte: o Data Mesh permite um maior controle sobre a conformidade dos dados de ponta a ponta. Isso é fundamental em um cenário com cada vez mais fontes e formatos de informação. O resultado são dados mais acessíveis e com maior qualidade, o que se reflete em melhores análises.
Quer saber mais sobre o tema? Inscreva-se no DDB 2022 e participe do maior evento de Data Analytics do Brasil.
Voltado para líderes e gestores, o DDB reunirá os maiores nomes do mercado, que vão auxiliar as empresas em uma tomada de decisão cada vez mais eficiente e a acelerar seus negócios por meio do Data Analytics. Participe!
