Explorando o Readyset: melhorando o desempenho de consultas MySQL com Deep e Shallow Cache

1. Introdução

Neste artigo, vou compartilhar uma experiência prática utilizando o Readyset, explorando seus recursos de cache e avaliando os possíveis ganhos de desempenho em consultas SQL executadas em um banco de dados MySQL.

A proposta foi montar um laboratório simples, utilizando duas base de dados diferentes, uma aplicação PHP e duas instâncias do Readyset, com o objetivo de conhecer melhor a ferramenta e experimentar diferentes maneiras de utilização do cache.

Durante os testes, explorei duas estratégias: Deep Cache e Shallow Cache. Também desenvolvi um dashboard para executar consultas e comparar o tempo de resposta entre o acesso direto ao MySQL e o acesso através do Readyset.

A ideia não foi construir um benchmark definitivo, mas entender como a ferramenta funciona, quais são suas possibilidades e quais ganhos podem ser alcançados em determinados cenários.

2. Conhecendo o Readyset

O Readyset é uma ferramenta que atua como uma camada de aceleração de consultas entre a aplicação e o banco de dados.

Sua proposta é armazenar resultados de consultas SQL em cache, permitindo que solicitações repetidas sejam atendidas sem a necessidade de executar novamente todo o processamento no banco de dados de origem.

A aplicação se conecta ao Readyset utilizando uma interface compatível com o protocolo MySQL.

Quando uma consulta possui um cache disponível e válido, o Readyset pode responder diretamente à aplicação. Quando não existe um cache disponível ou a consulta não pode ser atendida por ele, a solicitação é encaminhada ao banco de dados de origem.

Isso permite reduzir o trabalho do MySQL, principalmente em aplicações que executam frequentemente consultas de leitura.

3. Arquitetura do laboratório

Para montar o ambiente, utilizei Vagrant para provisionar duas máquinas virtuais, ambas com Oracle Linux.

Componente Configuração
Virtualização Vagrant
VM 1 Oracle Linux 7
Banco de dados MySQL 8.0.30
Dataset IMDb
VM 2 Oracle Linux 10
Readyset Instalado através de pacote RPM
Aplicação PHP
Interface Dashboard PHP na máquina local

As duas máquinas virtuais possuem comunicação entre si. A aplicação PHP foi desenvolvida e executada diretamente na minha máquina local, conectando-se ao Readyset. Por sua vez, o Readyset possui conexão com o MySQL de origem.

Arquitetura simplificada

Um ponto interessante dessa arquitetura é que a aplicação não precisa conhecer os detalhes internos do cache. Ela simplesmente utiliza o endereço do Readyset como destino da conexão.

4. Aplicação PHP e dashboard

Para facilitar os experimentos, desenvolvi uma aplicação em PHP que utiliza o dataset IMDb.

A aplicação possui um dashboard com alguns relatórios sobre filmes, séries de televisão e episódios.

Entre os relatórios disponíveis estão:

  • Top Rated Movie: apresenta filmes com melhores avaliações.
  • Most Voted Title: apresenta títulos com maior quantidade de votos.
  • TV Series: apresenta séries de televisão ordenadas pela quantidade de votos.
  • Relatório geral: consolida informações sobre filmes, séries e episódios.

O objetivo foi utilizar consultas que realizassem diferentes operações sobre o dataset, permitindo observar o comportamento do Readyset em situações distintas.

Inicialmente, executei os relatórios diretamente no MySQL. Depois, utilizando a mesma aplicação, direcionei as conexões para o Readyset.

Dessa forma, foi possível comparar os tempos de resposta utilizando a mesma interface e os mesmos relatórios.

5. Explorando as estratégias de cache

Uma das partes mais interessantes do laboratório foi experimentar duas estratégias diferentes de cache.

Para isso, configurei duas instâncias do Readyset, utilizando bancos de dados distintos.

5.1 Deep Cache

Na primeira instância, utilizei o banco de dados Sakila para explorar o Deep Cache.

O Deep Cache utiliza um mecanismo de atualização incremental baseado no fluxo de alterações do banco de dados de origem.

Para isso, o Readyset utiliza mecanismos de snapshot e replicação, mantendo estruturas materializadas que representam os resultados das consultas armazenadas.

Quando ocorre uma alteração nos dados de origem, o Readyset processa essas mudanças e atualiza as estruturas correspondentes, evitando a necessidade de executar novamente toda a consulta.

Na prática, isso permite que uma aplicação consulte resultados previamente preparados e atualizados continuamente a partir das alterações recebidas do banco de dados.

Esse modelo é interessante para aplicações que possuem muitas operações de leitura e precisam manter os resultados do cache atualizados conforme os dados são modificados.

5.2 Shallow Cache

Na segunda instância, utilizei o banco de dados IMDb para explorar o Shallow Cache.

Diferentemente do Deep Cache, o Shallow Cache utiliza uma estratégia baseada no armazenamento dos resultados das consultas em memória por um período determinado.

Nesse modelo, o Readyset armazena o resultado da consulta e o disponibiliza enquanto a entrada do cache estiver válida.

No meu laboratório, configurei o TTL (Time To Live) para 60.000 milissegundos, ( 60 segundos ) .

O funcionamento é baseado na validade do resultado armazenado:

  1. A aplicação executa uma consulta.
  2. O Readyset verifica se existe um resultado disponível no cache.
  3. Se existir um resultado válido, ele é retornado diretamente.
  4. Quando o resultado fica desatualizado, o Readyset pode buscar uma nova versão no banco de dados de origem e atualizar o cache.

Assim, consultas repetidas podem ser respondidas rapidamente, sem executar novamente todo o processamento no MySQL.

É importante observar que o TTL define a validade da entrada do cache. A atualização pode ocorrer durante o acesso ou em segundo plano, dependendo da política de refresh configurada.

Essa estratégia foi especialmente interessante para o meu laboratório porque o dataset IMDb possui um volume considerável de dados.

Inicialmente, também tentei explorar o Deep Cache com esse dataset, mas encontrei limitações relacionadas aos recursos disponíveis na minha máquina local. O processo de construção do cache demorou mais do que o esperado.

Por isso, optei por utilizar o Shallow Cache nesse cenário.

Essa experiência também demonstra que a escolha da estratégia deve considerar o volume de dados, os recursos disponíveis e as características da aplicação.

6. Testes de desempenho

Depois de preparar os ambientes e configurar os caches, comecei a executar os relatórios disponíveis no dashboard PHP.

O objetivo foi comparar o tempo de execução das consultas diretamente no MySQL com o tempo de resposta utilizando o Readyset.

Para realizar os testes, utilizei os mesmos relatórios e a mesma aplicação, alterando o destino da conexão.

6.1 Comparativo dos resultados obtidos

Relatório MySQL Readyset Aceleração aproximada
Top Rated Movie 6.065,534 ms 4,896 ms 1.239x
Most Voted Title 2.616,676 ms 4,567 ms 573x
TV Series 978,770 ms 7,111 ms 138x
Relatório geral 28.941,213 ms 3,835 ms 7.547x

Os resultados mostram uma redução expressiva no tempo de resposta das consultas quando atendidas pelo cache do Readyset.

 

Figura 1 (relatório geral) – Primeira execução sem readyset cache

 

Figura 2 (relatório geral) – Execução atendida pelo readyset a redução de tempo é muito significativa.

 

6.2 Analisando os resultados

O primeiro destaque foi o relatório Top Rated Movie. A consulta, que inicialmente demorava aproximadamente 6 segundos no MySQL, passou a responder em menos de 5 milissegundos utilizando o Readyset.

O relatório Most Voted Title também apresentou uma redução significativa, passando de aproximadamente 2,6 segundos para pouco mais de 4,5 milissegundos.

No relatório TV Series, o tempo caiu de aproximadamente 979 milissegundos para pouco mais de 7 milissegundos.

O grande destaque: relatório geral

O resultado mais interessante foi o relatório geral. Esse relatório consolida informações de diferentes categorias do IMDb, incluindo filmes, séries de televisão e episódios.

Execução diretamente no MySQL:

28.941,213 milissegundos, aproximadamente 28,94 segundos.

Execução utilizando Readyset:

3,835 milissegundos.

Isso representa uma redução aproximada de 99,99% no tempo de resposta, ou uma consulta aproximadamente 7.547 vezes mais rápida.

É importante destacar que esses números representam os resultados observados neste laboratório. Não são uma garantia de desempenho para outros ambientes ou aplicações.

Também é importante considerar que os testes foram realizados com resultados previamente armazenados no cache. Portanto, representam o desempenho de consultas atendidas pelo cache, e não necessariamente o comportamento de uma primeira execução ou de um cache ainda não aquecido.

7. Observações e limitações do laboratório

Durante os experimentos, encontrei algumas limitações relacionadas aos recursos disponíveis na minha máquina local.

Como o ambiente foi construído utilizando máquinas virtuais com recursos reduzidos, o volume do dataset IMDb acabou influenciando o tempo necessário para preparar o Deep Cache.

Em vez de tratar isso simplesmente como um problema, aproveitei a situação para explorar outra estratégia disponibilizada pelo Readyset: o Shallow Cache.

Com isso, consegui trabalhar com dois cenários diferentes:

  • Sakila utilizando Deep Cache.
  • IMDb utilizando Shallow Cache.

Essa experiência foi importante para entender que as estratégias possuem características diferentes e podem atender a necessidades distintas.

Outro ponto interessante foi observar que o Readyset pode ser utilizado sem exigir alterações significativas na aplicação. A principal mudança no laboratório foi direcionar a conexão da aplicação PHP para o endereço do Readyset.

8. Conclusão

Esse laboratório foi uma oportunidade de explorar o Readyset na prática, conhecer melhor seus recursos e entender como diferentes estratégias de cache podem contribuir para melhorar o desempenho de aplicações que utilizam MySQL.

Durante os experimentos, trabalhei com duas base de dados, duas instâncias do Readyset e uma aplicação PHP desenvolvida para executar consultas reais sobre os dados.

Também pude comparar duas abordagens diferentes de cache, entender suas características e observar os resultados na prática.

Os testes demonstraram ganhos expressivos no tempo de resposta, principalmente em consultas que exigiam mais processamento do MySQL e que puderam ser atendidas diretamente pelo cache.

Vale destacar que os tempos apresentados podem sofrer pequenas variações durante novas execuções, principalmente devido ao cache interno do próprio MySQL e às condições do ambiente de testes. Mesmo considerando essas possíveis oscilações, os experimentos demonstraram uma redução significativa no tempo de resposta quando as consultas foram atendidas pelo cache do Readyset.

Mais importante do que os números foi a oportunidade de experimentar a ferramenta, conhecer suas possibilidades e entender em quais situações cada estratégia pode ser interessante.

O objetivo deste trabalho não foi apresentar um benchmark definitivo, mas compartilhar uma experiência prática de exploração da ferramenta.

Acredito que experimentar diferentes recursos, testar cenários e observar o comportamento das tecnologias é uma das melhores maneiras de aprender e identificar novas possibilidades para nossos ambientes.

 

hands-on:

Espero que tenham gostado! Até a próxima!

Referências

COMPARTILHE:
Picture of Marcio

Marcio

Minha paixão por tecnologia e minhas habilidades em resolução de problemas me permitem enfrentar desafios complexos e entregar soluções de banco de dados de alta qualidade. Estou sempre ávido por aprender e me manter atualizado com as últimas tendências em administração de banco de dados.
Picture of Marcio

Marcio

Minha paixão por tecnologia e minhas habilidades em resolução de problemas me permitem enfrentar desafios complexos e entregar soluções de banco de dados de alta qualidade. Estou sempre ávido por aprender e me manter atualizado com as últimas tendências em administração de banco de dados.

PARTICIPE

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

POSTADO POR
Picture of Marcio

Marcio

Minha paixão por tecnologia e minhas habilidades em resolução de problemas me permitem enfrentar desafios complexos e entregar soluções de banco de dados de alta qualidade. Estou sempre ávido por aprender e me manter atualizado com as últimas tendências em administração de banco de dados.
PARCEIROS