Fonte: https://stories.freepik.com/illustration/server/pana

Introdução aos Big Data

Comecemos por compreender o que são os Big Data. Os Big Data designam a combinação de elevadas quantidades de dados recolhidos, armazenados e analisados por organizações. Estes dados podem ser preparados enquanto informação a ser utilizada em projetos de machine learning e análises avançadas para apoiar a decisão de gestão de dados de uma forma nova e eficaz (Mauro et al., 2014).

Por outras palavras, os Big Data referem-se à informação que empresas e organizações recolhem a partir dos dados que são constantemente gerados sempre que abrimos uma aplicação, pesquisamos no Google ou simplesmente viajamos de um lugar para outro com os nossos dispositivos móveis. Parece fácil, certo? Mas como fazer uso destes dados?

Os 5V

Se pretender utilizar eficazmente esta quantidade revolucionária de dados, é essencial que compreenda primeiro as várias características dos Big Data.

Tradicionalmente, a definição dos Big Data tem-se baseado em três dimensões:  volume, variedade e velocidade. Mas mais recentemente foram acrescentadas duas outras dimensões para permitir aos utilizadores criarem conhecimento através dos Big Data: veracidade e valor. Demasiados “V”? Vamos vê-los um a um!

1. Volume: refere-se à dimensão dos conjuntos de dados a serem analisados e processados. Estes conjuntos de dados apresentam frequentemente dimensões superiores a terabytes e petabytes. Os dados podem ser considerados como Big Data – ou não -, com base no seu volume.
2. Velocidade: refere-se à velocidade a que os dados são gerados, recolhidos e analisados. Estes dados fluem continuamente através da “Internet das Coisas” (IdC), dados móveis ou redes sociais.
3. Variedade: refere-se às diferentes fontes de dados gerados, quer por seres humanos, quer por máquinas. Podemos identificar três tipos de dados: estruturados, semiestruturados e não estruturados:

• os dados estruturados são frequentemente números ou etiquetas, armazenados num quadro estruturado de colunas e linhas relacionadas com parâmetros pré-definidos; ex., as classificações por estrelas que damos às empresas nas análises do Google
• os dados semiestruturados estão vagamente organizados em categorias, usando meta tags; , Tweets que organizamos por hashtags
• os dados não estruturados podem ser informação de texto que não está organizada num quadro ou modelo claramente definido; ex., vídeos e imagens

4. Veracidade: refere-se à garantia de qualidade, integridade, credibilidade e exatidão dos dados. Por outras palavras, pode confiar nos dados que recolheu? Estes dados são suficientemente credíveis para se obterem informações? Todas estas perguntas entre outras, podem ser respondidas quando a veracidade dos dados é conhecida.
5. Valor: refere-se à capacidade de os dados impactarem positivamente no negócio de uma empresa. O Valor introduz o tópico principal deste módulo, pois é aqui que a análise dos Big Data é relevante. Veremos o que são e como funcionam os algoritmos analíticos no próximo capítulo.

Agora que sabe o que são os Big Data, é tempo de aprender sobre as respetivas fontes. A quantidade de dados gerada diariamente é significativa e existe sob várias formas. Se quiser ter sucesso com os Big Data, é importante que saiba distinguir entre as várias fontes de dados disponíveis e compreender o quão úteis e relevantes podem ser para a sua empresa.

Fonte: Editado a partir de https://storyset.com/illustration/open-source/bro

Bases de dados

O termo “base de dados” soa familiar, não é? Atualmente, as empresas estão a utilizar um modelo híbrido que integra bases de dados tradicionais e modernas para adquirir Big Data relevantes. Porquê? Porque requerem investimentos e custos de infraestruturas informáticas reduzidos. Normalmente, estas bases de dados são também utilizadas para vários fins de business intelligence, uma vez que podem fornecer a extração de conhecimentos, utilizados para impulsionar os lucros das empresas. As bases de dados mais populares são o MS Access, Oracle e SQL e podem incluir todo o tipo de conteúdo, como clientes ou artigos.

Redes sociais

As redes sociais constituem a fonte mais popular dos Big Data. Todos conhecemos plataformas como o Facebook, Twitter, YouTube e Instagram. Porque é que as redes sociais são relevantes? Bem, são a forma mais rápida para as empresas obterem uma visão geral da sua audiência, definirem padrões e terem acesso a informação relevante que apoie a tomada de decisões, uma vez que podem facilmente cruzar todas as barreiras físicas e demográficas. As redes sociais possibilitam o acesso a informação muito importante sobre as preferências dos consumidores e tendências.

Nuvem

O armazenamento na nuvem torna-se uma fonte de dados eficiente e económica, uma vez que os Big Data podem ser armazenados e obtidos em espaços na nuvem, tanto públicos como privados. Por essa razão, as empresas passaram da utilização das fontes de dados tradicionais para a nuvem, deslocando os seus dados. Bons exemplos de dados de Cloud Computing são a Salesforce, a Dropbox ou a IBM.

Lembra-se do que são dados estruturados e não estruturados? O armazenamento em nuvem pode acomodar ambos e fornece às empresas informação, tanto em tempo real como mediante pedidos específicos.

A Internet das Coisas

Já ouviu falar da Internet das Coisas (IdC)? Se não, tem a oportunidade de saber mais sobre este conceito no Módulo 4. A IdC está a desenvolver-se rapidamente e inclui os Big Data gerados, não só a partir de computadores e smartphones, mas também possivelmente a partir de todos os dispositivos que podem emitir dados, tais como jogos de vídeo, câmaras, eletrodomésticos e afins.

A web

Porque é que os dados da web são relevantes para os start-uppers? A web pública constitui Big Data que são generalizados e facilmente acessíveis. Os dados na web estão disponíveis tanto para indivíduos, como para empresas, pelo que um start-upper não tem de esperar para desenvolver a sua própria infraestrutura de Big Data para tirar partido dela.

Algoritmos analíticos

O que são algoritmos analíticos?

Fonte: https://stories.freepik.com/illustration/startup-life/cuate

Agora que compreende o que são os Big Data, é tempo de saber o que são algoritmos analíticos. Os algoritmos analíticos são, literalmente, a informação resultante da análise sistemática de dados ou estatísticas. Parece-lhe complicado? Aparentemente sim, mas trata-se de utilizar os dados que pode recolher a partir do seu site ou das suas plataformas de redes sociais para obter informação avançada sobre o seu negócio.

Existem diferentes tipos de algoritmos analíticos que podem fornecer uma variedade de informação. Uma vez que estamos apenas a começar, vamos concentrar-nos no básico e falar sobre os tipos de algoritmos analíticos existentes e como estes o podem ajudar.

Diferentes tipos de algoritmos analíticos

É útil distinguir entre três tipos de algoritmos analíticos, que lhe dirão o que ocorreu, o que acontecerá e o que lhe sugerirão que faça:

• Os descritivos revelam o que ocorreu. Possibilitam pesquisar e resumir dados históricos visando identificar padrões ou um significado. Alguns bons exemplos da sua utilização podem ser o resumo de eventos passados, campanhas de marketing ou dados relativos à utilização e envolvimento em redes sociais, como os likes no Instagram.
• Os preditivos sugerem o que irá ocorrer no Podem informar a sua start-up sobre o que poderá acontecer, permitindo-lhe adotar uma abordagem mais proativa ao nível da sua estratégia de negócio e da tomada de decisões. Baseiam-se em probabilidades, utilizando uma variedade de técnicas como os algoritmos de machine learning. Um bom exemplo de utilização destes algoritmos pode ser a análise da probabilidade de os clientes comprarem outro produto ou deixarem a loja.
• Os prescritivos irão sugerir o que fazer, uma vez que podem identificar soluções ótimas antecipando o quê, quando e por que motivo algo pode acontecer. São os mais complexos, mas os mais úteis para tomar as melhores decisões, baseadas em dados e para otimizar o seu desempenho inicial. Um bom exemplo da sua utilização pode ser o que as companhias de seguros de avaliação de riscos fazem em relação à fixação de preços para os clientes.

A importância dos Big Data Analytics para os start-uppers

Fonte: https://stories.freepik.com/illustration/startup-life/cuate

Porque é que os Big Data Analytics são úteis para a sua start-up? Basicamente, os Big Data Analytics podem mostrar-lhe tendências de inovação e crescimento da produtividade, ao mesmo tempo que o ajudam a conhecer o seu setor, concorrentes e clientes. Vejamos em pormenor vantagens dos Big Data para a sua start-up.

1. Tomar decisões e melhorar o desempenho: através da utilização de algoritmos analíticos, os Big Data podem melhorar o seu processo de decisão. Por outro lado, como lhe permite criar e armazenar mais dados em formato digital, pode obter uma informação detalhada do desempenho de tudo o que está relacionado com a sua start-up, tal como inventários de produtos, faturas ou horários de pessoal.
2. Conhecer e alcançar os seus clientes: através da segmentação de clientes, os Big Data permitem o desenvolvimento de produtos ou serviços mais personalizados. Além disso, podem ajudá-lo a compreender melhor o comportamento dos seus clientes através do acompanhamento dos seus hábitos de consumo e da monitorização das redes sociais.
3. Encontrar modelos de negócio, produtos e serviços inovadores e explorar tendências: os Big Data podem ser utilizados para melhorar o desenvolvimento da próxima geração de produtos e serviços, rastreando o que o cliente procura ou pesquisa, com ferramentas como, por exemplo, o Google Trends.
4. Usar os Big Data Analytics para conhecer o seu setor e os seus concorrentes: muitas empresas publicam relatórios anuais com informação relevante. Para além do acesso a essa informação, pode também beneficiar dos dados fornecidos nos produtos que estão a vender, como preços e características.

[1] https://www.researchgate.net/publication/265775800

[2] https://www.lexico.com/definition/analytics

[3] https://www.researchgate.net/publication/276001104_All_About_Analytics