Big Data na Open Cloud


A nuvem privada da Rackspace® com tecnologia OpenStack® ajuda a reduzir custos e melhorar a eficiência operacional

1. Introdução

O grupo Rackspace® Enterprise Business Intelligence (EBI) é uma equipe central que agrega, administra e fornece inteligência comercial em dados de diversas fontes de dados críticos para os negócios. Para acompanhar o crescimento de clientes e infraestrutura de tecnologia da Rackspace, o EBI queria consolidar os volumes de rápido crescimento de dados para relatórios, tendências e análises. Este white paper destaca como o EBI usou o software de nuvem privada da Rackspace para possibilitar uma solução de big data baseada em nuvem, reduzindo custos e melhorando a eficiência operacional.

2. Transformando bytes em inteligência comercial

O depósito de dados herdados do EBI consiste em soluções de fornecedores de bancos de dados comerciais em servidores dedicados. Os pontos de dados incluíam dados da conta do cliente, informações de uso e faturamento, com a interoperabilidade de ferramentas de inteligência comercial da Informatica e Qlikview. Desde o nível operacional, os dados globais se tornaram incontroláveis, pois informações importantes, como monitoramento, resposta e métricas de suporte, vinham de dispositivos dedicados, virtuais e em nuvem.

Os relatórios diários tornaram-se um processo demorado e que consumia muitos recursos, sendo gerados apenas à noite e com um tempo de retardo de ponto de dados de 24 horas. Os custos de licenciamento de banco de dados e hardware comerciais estavam aumentando de forma desproporcional à medida que a equipe do EBI trabalhava com administradores de banco de dados para aumentar rapidamente a capacidade nos horários de pico. Por fim, o legado criado não lidava muito bem com dados não estruturados, e a equipe queria ser capaz de aplicar diferentes tecnologias avançadas (por exemplo, colunar, NoSQL, SQL) isoladamente ou em combinação, dependendo do tipo e tamanho de dados que ela queria armazenar e analisar.

Para continuar a atender a empresa eficientemente, o EBI reuniu os requisitos para uma nova solução. Batizada de Analytic Compute Grid (ACG), a solução deveria agir como espinha dorsal do EBI e ser capaz de:

  • Abrigar um conjunto cada vez maior de dados coletados em diferentes formatos, estruturados e não estruturados, a partir de várias unidades de negócios dentro da Rackspace
  • Dimensionar rápida e dinamicamente recursos a fim de atender com eficiência as demandas de negócios
  • Adicionar novos recursos em tempo real, sem esperar por novos provisionamentos de hardware durante horários de pico
  • Executar diferentes tecnologias de big data avançadas para armazenamento, gerenciamento, análise e distribuição de dados em uma única plataforma de tecnologia
  • Permitir a equipe EBI evitar o aumento de taxas de licenciamento de bancos de dados comerciais
  • Utilizar APIs abertas para facilitar a integração e acesso programático com outros sistemas corporativos e ferramentas de BI
  • Dar suporte a requisitos de segurança e conformidade da Rackspace
  • Adotar tecnologias de open cloud e código aberto

Com esses requisitos em mente, a equipe EBI da Rackspace avaliou as seguintes opções:
  
Opção 1: manter o curso
Prós

  • Interrupção mínima a curto prazo para projetos e usuários finais existentes
  • Sem necessidade de treinamento adicional
  • Possibilidade de continuar a alavancar o suporte de fornecedor

Contras

  • Custos de licenciamento que sobem muito com o aumento do volume de dados
  • Suporte a administração de banco de dados (DBA) para recursos espalhados por vários bancos de dados OLTP e bancos de dados de BI.
  • Escalabilidade de sistemas – aumentar o sistema atual, é muito demorado em combinação com volumes de dados crescentes
  • As tecnologias atuais não oferecem suporte para big data
  • Os produtos de banco de dados comerciais herdados não aumentam o desempenho com o volume de dados. A expansão desses produtos exigiria complexos volumes em cluster de servidores. Além disso, os dois fornecedores recomendam suas próprias infraestruturas e tecnologia de banco de dados.

Opção 2: comprar um dispositivo de MPP (processamento paralelo massivo)
Prós

  • Alto desempenho
  • Criado para cargas de trabalho de BI
  • Interoperabilidade com conjuntos de ferramentas de BI existentes
  • Grande base de clientes de BI com conjunto valioso de recursos fornecidos por fornecedores

Contras

  • Altos custos em relação ao ambiente atual, incluindo custos para adquirir equipamento, taxas de configuração, licenciamento, manutenção, treinamento etc.
  • Configurações de hardware proprietário e mecanismos de bancos de dados

Opção 3: administrar apps de BI herdados no software de virtualização comercial
Prós

  • Mais eficiente que executar no hardware físico
  • Um pouco de flexibilidade para "expandir" VMs e o volume
  • Migração relativamente fácil de apps de BI herdados para infraestrutura virtualizada

Contras

  • Capacidades limitadas de "diminuição" e de compartilhamento de recursos, em comparação com ambiente de nuvem
  • Custos adicionais de licença
  • Preocupações de criação e limitação por software de virtualização comercial proprietário e licenciado

Opção 4: solução de código aberto de ponta a ponta na nuvem privada da Rackspace Prós

  • Permite expandir e diminuir mais rápido que hardware em silos ou servidores virtualizados
  • Conjunto completo de tecnologias de código aberto todo, evitando restrição de fornecedores
  • Capacidade de alavancar hardware de commodity
  • Sem custos de licenciamento de software
  • Aproveitamento mais rápido de inovação em plataformas de código aberto devido a participação e contribuição da comunidade
  • Capacidade de alavancar recursos de nuvem pública quando necessário

Contras

  • Treinamento de desenvolvedores e usuários finais em novas tecnologias
  • Migração de grande escala
  • Necessidade de criação, compra ou procura de adaptadores de ferramentas de BI

 

3. A escolha: solução de código aberto de ponta a ponta na nuvem privada da Rackspace


Estes requisitos levaram o EBI a projetar e desenvolver uma pilha com base em tecnologias de código aberto – de infraestrutura a software de big data – para permitir crescimento e escalabilidade rápidos. A plataforma de infraestrutura subjacente selecionada foi a nuvem pública da Rackspace com tecnologia OpenStack®, em conjunto com Cassandra, Hadoop e PostgreSQL. A solução foi chamada de Analytic Compute Grid, ou ACG.

ACG é uma plataforma de software de gerenciamento de big data construída com o software de nuvem pública da Rackspace. Como um dos principais benefícios, fornece uma solução consolidada e flexível para armazenar, analisar, distribuir e apresentar dados com base em tipo de dado (estruturado ou não), operação (armazenamento ou análise de dados) e habilidades do consumidor (cientista de dados que acessa via APIs ou analista de marketing que usa ferramentas de BI para gerar relatórios.)

4. Os resultados

• Agora o EBI pode processar terabytes de dados por dia, em tempo real ou sob demanda
• As tarefas de processamento, que demoravam seis dias no sistema herdado, passaram a três horas
• As ferramentas de BI existentes podem ser aproveitadas por APIs, ANSI, SQL, e tecnologias adicionais podem ser facilmente adicionadas através de extensões
• A ACG reduziu a necessidade de dois administradores adicionais
• Melhores dados de tendências e de relatório estão sendo utilizados para aprimorar as capacidades de suporte e a experiência do cliente Rackspace

5. Conclusão

Através da criação de uma plataforma única holística com tecnologias de código aberto, a Analytic Compute Grid da equipe de EBI pode lidar com armazenamento, análise e distribuição de dados em grande escala em tempo hábil. As ferramentas de big data disponíveis hoje ajudaram a resolver o problema, mas exigiram novas formas de pensar a infraestrutura subjacente, processos e estruturas de dados para tornar o processo uma realidade. A criação – com a nuvem pública da Rackspace com tecnologia OpenStack, Hadoop, Cassandra e outras ferramentas – da ACG resultou em melhoria na velocidade de processamento de dados e redução significativa nos investimentos totais. Várias unidades de negócios da Rackspace agora podem tomar decisões praticamente em tempo real capazes de beneficiar diretamente os clientes da Rackspace.



Este conteúdo foi útil?




© 2014 Rackspace US, Inc.

Salvo indicação em contrário, o conteúdo deste site está licenciado sob uma licença não adaptada de Creative Commons Attribution-NonCommercial-NoDerivs 3.0


Ver detalhes da licença e o AVISO LEGAL