Cadastre-se

CADASTRO

Em caso de não possuir CPF, por favor entre em contato conosco clicando aqui.

Ao informar meus dados, eu concordo com a Política de Privacidade

ReCaptcha
Entrar
Escola Superior de Redes

Ciência de Dados

  • DataOps
    Ciência de Dados

    DataOps: o que é e como essa abordagem funciona na prática?

    O conceito de DataOps refere-se a uma abordagem para a gestão de pipelines de dados que tem como principal objetivo auxiliar organizações a aprimorar seus processos de análise de dados com base na automação. Com isso, ele resolve dois dos maiores gaps dessa área: a integração das diversas fontes de dados das companhias e os custos de infraestrutura. Inspirado nas práticas de DevOps e no Manifesto Ágil (2001), o DataOps também é guiado pelos pilares da agilidade, qualidade e confiabilidade, porém, direcionando a sua aplicação para a entrega de dados.  Na prática, o termo foi oficialmente apresentado, em 2017, por Lenny Liebmann, no texto “3 Reasons Why DataOps Is Essential for Big Data Success”, cujo conteúdo destacava a importância da metodologia para o sucesso de iniciativas de big data. Desde então, o DataOps tem se consolidado como uma importante alternativa para a otimização dos fluxos de trabalho conectados ao campo de gerenciamento de dados, fazendo isso, sobretudo, por meio da automação e da colaboração.  Por meio desses pontos, a metodologia abrange desde o desenvolvimento até a entrega de produtos em dados, sendo bastante relevante em um mercado que exige agilidade e eficiência ao mesmo tempo que lida com volumes de dados cada vez mais robustos e complexos. Em outras palavras, o DataOps promove a melhoria contínua na gestão de dados ao integrar equipes e automatizar processos, gerando um ciclo virtuoso de qualidade e eficiência. Há, finalmente, um alinhamento entre as operações de dados e as necessidades de negócio das organizações. Abaixo, seguiremos destrinchando o universo DataOps e os seus diferenciais para as organizações e carreiras. Continue conosco! Tome nota: A International Data Corporation (IDC), estima que, no ano de 2024, foi observado um volume global de dados para além dos 157 ZB (zetabytes). Isso representa 157 bilhões de terabytes, ou cerca de 39 trilhões de horas de vídeo em alta definição. Qual o principal objetivo do DataOps? O principal objetivo do DataOps reside na redução de custos relacionados com a entrega de dados combinada com a melhoria da sua qualidade e confiabilidade. Além disso, trata-se de uma metodologia que incentiva a cultura da colaboração entre times e a automação de processos e que, por isso, viabiliza a escalabilidade dos projetos de dados e das informações nas empresas.   Assim como o DevOps surgiu para resolver desafios de integração no desenvolvimento de softwares que causavam retrabalho e gastos desnecessários, o DataOps foi criado para enfrentar problemas semelhantes associados ao universo dos dados. Ele busca, assim, unificar a coleta, o processamento e a análise de dados, garantindo que fontes de dados críticos estejam disponíveis no momento certo, com máxima precisão. Nesse contexto, a implementação do DataOps permite que empresas se tornem mais resilientes, com dados confiáveis para apoiarem a tomada de decisão e impulsionarem a inovação. No mercado moderno, trata-se de um passo essencial para organizações que desejam manter a competitividade, visto que os ambientes de negócio cada vez mais são guiados por dados. Para que isso seja efetivado, o DataOps se concentra em três frentes principais, citadas a seguir. Três frentes observadas pelo DataOps A efetividade de um projeto DataOps se dá com base na estruturação de indicadores e objetivos claros que visem aos seguintes processos: 1. Redução de erros – item relacionado com a confiança dos dados. 2. Ciclo de vida de desenvolvimento – diz respeito à capacidade de uma equipe desenvolver modelos, conjuntos de dados e visualizações, assegurando o aperfeiçoamento do tempo que essas atividades demandam. Ou seja, garante uma operação ágil desde a concepção de um problema até a sua implementação final, abarcando tanto a rapidez das entregas quanto a gestão de risco conectada a cada etapa. 3. Aumento da produtividade da equipe – conduz os times para um trabalho mais direcionado, com planejamento e objetivos, bem como com reuniões apenas quando necessário. O foco é aumentar a colaboração e diminuir a burocracia. Com essas três frentes, o conceito de DataOps promete aprimorar a gestão de dados do negócio, reduzindo os gaps entre as equipes de desenvolvimento e de análise de diversas fontes de dados. Com isso, a abordagem auxilia as empresas a driblarem um de seus maiores desafios: a necessidade de velocidade na análise dos dados. Você também pode gostar: Qual a responsabilidade prática da TI na era do Big Data? Mas como o DataOps funciona na prática? 6 pilares da abordagem. Na prática, o DataOps também pode ser entendido como uma abreviação de operação de dados (data operations, em inglês), sendo caracterizado essencialmente como uma nova abordagem concentrada no gerenciamento contínuo e eficiente dos dados de uma empresa. Além de inspirado em DevOps, como abordamos anteriormente, a metodologia faz uso de princípios e práticas do Agile e de abordagens de controle de qualidade, focando em uma aplicação voltada para dados. Para preencher a lacuna entre a engenharia de dados, ciência de dados e equipes de operações, promovendo integração e entregas contínuas, além da colaboração e da automação dos processos relacionados com dados, o DataOps enfatiza a necessidade de otimização e desenvolvimento de pipelines de dados de alta qualidade que observem também a governança de dados. Dessa forma, atua com base nos seis aspectos detalhados abaixo. O DataOps fomenta a colaboração entre as equipes de diferentes áreas exatamente para alinhá-las em relação às demandas e aos projetos de dados das empresas. Há uma troca contínua de informações e experiência que minimiza o retrabalho e os cortes abruptos de planejamento.  A automação de processos é uma das principais bases do DataOps, pois garante que os fluxos de trabalho relacionados com os dados sejam ágeis e com menos erros manuais. Nesse contexto, estão incluídos a automação de testes, validações e implantação. Trata-se de outro pilar da abordagem DataOps, visto que, segundo esse binômio, é possível que os dados e os modelos estejam sempre atualizados e em produção, oferecendo menor risco de falhas e latência. Monitorar continuamente os pipelines de dados é imprescindível para a rápida detecção e correção de falhas. Além disso, proporciona insights sobre a eficiência e a qualidade dos dados em tempo real. Garante que as alterações nos dados, modelos e scripts possam ser rastreadas, o que promove segurança e confiabilidade nas entregas. No cenário do DataOps, a governança de dados assegura que as políticas e as melhores práticas para a gestão de dados sejam implementadas, assim como combinadas com requisitos de conformidade legal, segurança e qualidade em todas as etapas do processo. Esses seis aspectos formam a espinha dorsal do DataOps, de modo que que as organizações consigam transformar dados em recursos valiosos. Tudo isso de forma ágil, segura e confiável. Com a adoção desses princípios, os negócios passam a otimizar a sua estratégia de dados, transformando-a em um diferencial competitivo significativo.  Você também pode gostar: O que analisar e como escolher um banco de dados? 4 principais ferramentas DataOps Existem diversas ferramentas que podem auxiliar um profissional responsável pela implementação de um projeto DataOps na prática. Separamos quatro delas abaixo: Em resumo, ao combinar o conhecimento técnico sobre DataOps com as ferramentas certas, você pode otimizar processos de dados, aumentar a colaboração entre equipes e reduzir erros e custos operacionais, além de garantir uma entrega mais ágil e precisa de insights. _______________________________________ Atualize o seu conhecimento em TI e esteja pronto para abraçar áreas tão disruptivas quanto a de DataOps. Para isso: conheça as novas turmas da Escola Superior de Redes (ESR). 


    12/12/2024
  • TI na era Big Data
    Ciência de Dados

    Qual a responsabilidade prática da TI na era do Big Data?

    Com a implementação e sistematização de tecnologias emergentes, como a inteligência artificial (IA), o contexto big data passou a ser ainda mais significativo. Afinal, essa tecnologia é uma das principais responsáveis por possibilitar que a IA processe e aprenda informações em larga escala, em tempo recorde, continuamente. De forma geral, big data refere-se aos dados que possuem maior variedade, com volumes crescentes e mais velocidade. Ou seja, trata-se de um conjunto de dados complexos e volumosos, não processados por softwares tradicionais, mas que são capazes de resolver e facilitar problemas de negócios de modo eficiente e exclusivo. Na perspectiva desses novos contornos digitais, o mercado de grandes volumes de dados passa a ter uma relevância inédita, impulsionada, sobretudo, por inovações na análise de bancos de dados, no cruzamento de informações, no uso de IA e na diversidade desses ativos advindos agora de múltiplas ferramentas, como é o caso dos dispositivos Internet of Things (IoT) ou internet das coisas. Em um artigo da empresa de desenvolvimento de softwares Innowise, Philip Tihonovich, diretor de Grandes Dados da organização, descreve assertivamente a importância do big data no panorama contemporâneo:  “Em 2024, o panorama dos dados é semelhante a um universo em constante expansão. Para as empresas, não se trata tanto de acumular esses dados, mas sim de navegar astutamente por eles para encontrar padrões úteis. Os próximos anos estão preparados para revolucionar a nossa abordagem aos grandes volumes de dados, centrando-se em análises sofisticadas que eliminam o ruído. É um momento empolgante, em que os dados não são apenas um subproduto das atividades comerciais, mas um motor essencial da direção estratégica.”  É importante considerar que, à medida que os dados crescem em quantidade, variedade e importância, a atenção das empresas deve se concentrar nos dados que mais importam, pois nem todos são igualmente relevantes para as corporações ou os consumidores. As organizações que prosperam nesse tipo de transformação de dados são aquelas que conseguem identificar e aproveitar o conjunto crítico de dados, isto é, aquele que vai gerar um impacto positivo e significativo nos seus objetivos de negócios. Portanto, nessa perspectiva, as empresas devem se concentrar na identificação dos dados críticos para concretizar o vasto potencial que eles contêm, o que torna o setor de TI essencial para perfectibilizar o big data e todas as vantagens advindas disso nas empresas. Isso é o que vamos destrinchar ao longo deste artigo. Boa leitura! Você também pode gostar – Entenda a diferença entre BI e Data Science Conceito e os 5vs do big data No começo dos anos 2000, Doug Laney escreveu um artigo que revolucionou a antiga prática humana de armazenar dados – era o início do big data como conhecemos hoje. Na época, o pesquisador desenvolveu a ideia dos 5 Vs para explicar o conceito por trás da tecnologia que torna possível a análise, em tempo real, de grandes quantidades de dados. Para ele, o big data estaria dividido em Volume, Velocidade, Variedade, Variabilidade e Vínculo. Esses cinco Vs proporcionam uma estrutura fundamental para entender os desafios e as oportunidades apresentados pelo big data. Eles ajudam a ilustrar a complexidade envolvida na coleta, no armazenamento, no processamento e na análise de grandes volumes de dados. Portanto, o objetivo desse instrumento é extrair valor dos grandes volumes de dados, por meio de análise avançada. Para isso, utiliza tecnologia e ferramentas especializadas, como algoritmos de aprendizado de máquina, inteligência artificial e sistemas de processamento distribuído, que permitem a identificação de padrões, tendências e insights que podem ser utilizados para a tomada de decisões informadas e estratégicas em diversas áreas, como negócios, saúde, finanças, transporte e a própria TI, entre outros.  Você também pode gostar – Ferramentas de desenvolvimento web: o que utilizar na rotina de TI?  O papel da TI na era do Big Data No mundo fático, o advento de big data transformou a maneira como as organizações passaram a lidar com dados, redefinindo também o próprio conceito de análise de informações em larga escala. O big data trouxe consigo uma demanda crescente por profissionais de TI qualificados, capazes de lidar com os desafios únicos apresentados por volumes massivos, variedade de dados e velocidade de processamento. Assim, enquanto o big data oferece um manancial de informações valiosas, a sua gestão eficaz requer um poder de processamento robusto, além de uma compreensão abrangente de arquiteturas de dados distribuídas, segurança da informação avançada e habilidades analíticas sofisticadas.  >> É aqui que a expertise de um time de TI se torna fundamental << Profissionais de TI desempenham um papel multifacetado na era do big data, já que atuam desde a configuração e manutenção de infraestruturas de armazenamento escaláveis até o desenvolvimento de algoritmos de aprendizado de máquina para análise preditiva.  Os especialistas em TI são os arquitetos por trás das soluções que capacitam as organizações a extrair insights valiosos de seus dados. Ao mesmo tempo, a TI é responsável por garantir a segurança e a integridade dos dados, mitigando os riscos de violações de segurança e protegendo a privacidade dos usuários.  A implementação de práticas de segurança robustas e a conformidade com regulamentações de proteção de dados são aspectos cruciais das atribuições da TI nesse cenário, além disso, o setor possui um papel central na democratização do acesso aos insights de big data. Ao desenvolver interfaces de usuário intuitivas e ferramentas de visualização de dados avançadas, os profissionais da área transformam os insights em materiais acessíveis e compreensíveis para uma extensa quantidade de stakeholders, desde executivos até analistas de negócios e tomadores de decisão. Neste contexto dinâmico e em constante evolução, o papel da TI na era do big data é mais do que apenas técnico, é estratégico.  Os profissionais de TI capacitam as organizações para gerenciar e analisar dados em escala e também orientam a sua visão estratégica, contribuindo para a transformação de dados brutos em insights acionáveis que impulsionam a inovação e o crescimento. ____________________________________ Curtiu a interseção entre TI e big data? Continue aprendendo sobre esse universo. Baixe os conteúdos gratuitos da maior referência em ensino e aprendizagem de TI do Brasil – a Escola Superior de Redes (ESR). É só vir por aqui!  Vemos você em breve!


    22/08/2024
  • Machine Learning e Inteligência Artificial em TI
    Ciência de Dados

    Machine learning e inteligência artificial na área de TI: o que esperar do futuro?

    Assim como a internet 5G, o machine learning (ML) e a inteligência artificial (IA) representam avanços digitais significativos na forma como a sociedade moderna se estrutura.  Embora não sejam necessariamente recentes (visto que a IA, por exemplo, foi mencionada pela primeira vez ainda na década de 1950), foi apenas depois da pandemia de Covid-19 e do necessário isolamento social que tais tecnologias tomaram contornos sem precedentes. A partir desse momento, o on-line e o offline se integraram de forma cada vez mais fluida, transformando atividades complexas em meros casos de rotina.   Depois de um período de expansão inédito em 2023, estima-se que as IAs causem um impacto econômico global de US$ 4,4 trilhões até 2040.  O sucesso dessas tecnologias cria grandes expectativas, assim como acende alertas sobre quais caminhos o mercado tomará a partir de agora.  Neste conteúdo, vamos abordar como o machine learning (ML) e a inteligência artificial (IA) podem influenciar as áreas de TI. Boa leitura!  ❗ Leia também – Estratégia de inovação: por que a ousadia é importante no ambiente corporativo? O que é inteligência artificial?  Inteligência artificial, IA ou AI (do inglês artificial intelligence) refere-se a um conjunto de ferramentas digitais que permite que sistemas eletrônicos simulem a “inteligência e o comportamento humanos”, por meio da análise e compreensão dos dados e de seus padrões.  De forma resumida, falar em inteligência artificial é também pensar na capacidade, cada vez mais avançada, de máquinas e dispositivos gerarem interações de tipos diversos, para os mais diferentes fins, com base em dados armazenados e em seus emissores. Assim, o objetivo da IA é atuar para além da observação simples de dados e para além da programação de ordens específicas. A IA deve ser capaz de perceber o ambiente no qual está inserida para gerar resultados significativos, de forma independente e totalmente conectada com esse universo enorme de bancos de dados. Para isso, são usados machine learning, deep learning, processamento de linguagem natural e ciência de dados, entre outros avanços tecnológicos. A inteligência artificial se caracteriza, portanto, pela possibilidade de as máquinas adquirirem a habilidade de reproduzir competências humanas, como raciocínio, planejamento, criatividade, aprendizagem e até mesmo interações. Segundo o Google Trends, o termo tem se popularizado nos últimos cinco anos, refletindo a integração da tecnologia ao dia a dia da sociedade. Porém, a inteligência artificial foi cunhada há mais tempo do que isso, mesmo que em outros contextos e condições. Foi em 1955, quando o professor de matemática do Dartmouth College, John McCarthy, usou a nomenclatura pela primeira vez. ❗ Leia também – Reflexos da IA na cibersegurança: você conhece o potencial dessa relação?  O que é machine learning?  Em tradução livre do inglês, o termo carrega o significado de “aprendizado de máquina”, que pode ser entendido como um método de análise de dados que automatiza a construção de modelos analíticos.  Com base nessa aplicação, compreende-se que o conceito está diretamente ligado a um ramo da inteligência artificial fundamentado na ideia de que sistemas podem aprender com dados, identificar padrões e tomar decisões com o mínimo de intervenção humana. Como as plataformas digitais, os sistemas de internet das coisas e outras inovações já conseguem fazer.  De modo geral, pode-se dizer que machine learning é uma tecnologia por meio da qual os computadores têm a capacidade de aprender de acordo com as respostas esperadas, com base em associações de diferentes dados, os quais podem ser imagens, números e tudo que essa tecnologia possa decodificar.  Qual a diferença entre ML e IA? Embora estejam diretamente conectados, a IA e o ML não são a mesma coisa. Por isso, é importante destacar os pontos de divergência entre essas tecnologias, a fim de assegurar uma compreensão integral dos termos.  Enquanto a IA é um conceito mais amplo que aborda a capacidade de uma máquina ou sistema detectar, motivar, agir ou se adaptar como um humano, o ML refere-se a uma aplicação de IA que permite às máquinas extrair conhecimento dos dados e aprender com eles de maneira autônoma.  Podemos visualizá-las em uma dinâmica análoga ao estudo dos conjuntos: o ML está contido na IA. Ou seja, a IA é abrangente, cobre uma ampla variedade de abordagens e algoritmos específicos; já o machine learning é mais específico, ou seja, é uma tecnologia ligada a esse escopo genérico, porém, com associações outras, tais quais aprendizado profundo, robótica, sistemas de especialistas e processamento de linguagem natural. A inteligência artificial abrange a ideia de uma máquina que pode imitar a inteligência humana. O ML tem como objetivo ensinar uma máquina a realizar uma tarefa específica e fornecer resultados precisos, identificando padrões.  Existem ainda outras diferenças significativas entre essas ferramentas, de acordo com o Google: Inteligência artificial Machine learning A IA permite que uma máquina simule a inteligência humana para resolver problemas. O ML permite que uma máquina aprenda de maneira autônoma com dados passados. O objetivo é desenvolver um sistema inteligente capaz de realizar tarefas complexas. O objetivo é criar máquinas que possam aprender com dados para aumentar a precisão da saída. Criamos sistemas que podem resolver tarefas complexas, como uma intervenção humana. Treinamos máquinas com dados para realizarem tarefas específicas e fornecerem resultados precisos. A IA tem ampla gama de aplicativos. O machine learning tem escopo limitado de aplicativos. A IA usa tecnologia em um sistema para imitar as tomadas de decisão humanas. O ML usa algoritmos de autoaprendizado para produzir modelos preditivos. A IA funciona com todos os tipos de dados: estruturados, semiestruturados e não estruturados. O ML só pode usar dados estruturados e semiestruturados. Os sistemas de IA usam lógica e árvores de decisão para aprender, raciocinar e se corrigir. Os sistemas de ML dependem de modelos estatísticos para aprender e podem fazer correções automaticamente quando fornecidos com novos dados. O contexto do machine learning e da inteligência artificial no presente No mercado como um todo, esses são avanços tecnológicos que figuram como verdadeiras promessas para a otimização de processos e a rentabilidade dos negócios. A exemplo disso, de acordo com um relatório da consultoria FrontierView, encomendado pela Microsoft, a inteligência artificial (IA) pode contribuir com o crescimento de 4,2% do PIB do Brasil até 2030. Diante desses resultados e tendo como pano de fundo o lançamento do ChatGPT pela OpenIA, o ano de 2023 foi marcado por uma corrida intensa das gigantes de tecnologia em busca da incorporação da IA em seus produtos:     Todas essas organizações se mantiveram proativas na esteira da adaptação a um novo contexto, no qual até os próprios usuários finais já utilizam as ferramentas da ML e IA no cotidiano.  Embora o ano de 2023 tenha sido marcado por esse escopo positivo, também foi o período que registrou algumas discussões importantes sobre o tema, como os protestos dos profissionais criativos contra a ferramenta e sua possível interferência nas vagas de trabalho e também a ausência de regulamentação para as novas tecnologias.  Como o machine learning e a inteligência artificial podem impactar o setor de TI? Veja 4 exemplos. O setor de TI não só respira as inovações e as transformações digitais como é o responsável por criá-las. Portanto, não é difícil entender que a IA e o ML já fazem parte da rotina de trabalho de equipes dessa área e tendem a se tornar cada vez mais abrangentes.  A computação cognitiva – que desenvolve mecanismos de previsão comportamental e fornece respostas rápidas para questões complexas que exigem um aprendizado contínuo – é um exemplo desse contexto.  No entanto, existem outros domínios nos quais a IA e o ML podem prosperar ou impactar a área de TI. Veja, a seguir, 4 competências:  1) Implicações na cibersegurança Com os novos contornos da transformação digital acelerada, profissionais de TI preveem que a IA generativa (a que produz conteúdo) seja capaz de transformar visceralmente a sociedade já nos próximos meses.  Embora tal popularização tenha ganhado força recentemente, a ferramenta já está presente há bastante tempo nas organizações, como nas análises de e-mails, que utilizam princípios de IA para fazer a detecção de spam. Ou seja, a IA, que já fazia parte da rotina dos especialistas em segurança da área de TI, agora será ainda mais empregada nesse ambiente, seja na perspectiva defensiva, seja no lado ofensivo, sendo o último o que mais tem se destacado.  A associação IA generativa + abordagens digitais ofensivas pode ocasionar o crescimento de ataques de engenharia social (aqueles capazes de hackear o próprio ser humano), visto que a tecnologia automatiza essa tarefa.  Até então, a engenharia social demandava a ação, a configuração e o gerenciamento humano contínuos. Com o advento da IA, essa lógica se altera e passa a viabilizar uma possível automatização da geração de golpes e ameaças e a torná-los ainda mais específicos.  Os phishings direcionados, por exemplo, podem ser produzidos automaticamente, em escala industrial. Há também a previsão do aumento de chamadas telefônicas com áudios sintéticos e da propagação da deep fake, entre outros modelos de ataque.  Nesse contexto, pelo menos por enquanto, nota-se que o uso da IA prevalece no lado ofensivo.  No defensivo, o desenvolvimento ainda é direcionado para ferramentas de correlacionamento de evento, análise de logs, análise de tráfego de redes e detecção de intrusão.  Porém, é preciso equilibrar essas forças e direcionar a IA generativa para o combate da sofisticação dos cibercrimes. O que os especialistas da ESR consideram é que, em breve, a IA será utilizada não só como um copilot para o invasor, como também representará um copilot para quem está preocupado com a segurança. Nas mãos de quem tem bons fundamentos e experiência de mercado, a IA é uma excelente ferramenta! 2) Otimização de tarefas manuais A IA e o ML têm o potencial de otimizar e automatizar tarefas manuais no setor de TI. Isso inclui processos como monitoramento de sistemas, gerenciamento de ativos de hardware e software, provisionamento de recursos em nuvem e resolução de problemas de infraestrutura.  Ao utilizar algoritmos inteligentes, as equipes de TI podem reduzir o tempo gasto em tarefas repetitivas e liberar recursos para atividades mais estratégicas e criativas. 3) Estabelecimento de sistemas autogerenciáveis A IA e o ML também podem impulsionar a criação de sistemas autogerenciáveis no setor de TI. Esses sistemas são capazes de monitorar, diagnosticar e corrigir problemas de forma autônoma, sem intervenção humana direta. Por exemplo, algoritmos de aprendizado de máquina podem ser implementados em sistemas de monitoramento de rede para identificar padrões de tráfego suspeitos e tomar medidas preventivas automaticamente. Com isso, há um aumento na eficiência operacional e um fortalecimento da resiliência e da segurança dos sistemas de TI. 4) Discussão sobre a regulação das ferramentas À medida que a inteligência artificial e o aprendizado de máquina se tornam integrados às operações de TI, surge a necessidade de uma discussão abrangente sobre a regulação dessas ferramentas. E questões éticas, de privacidade e segurança estão no centro desse debate em evolução. A regulação das ferramentas de IA e ML no setor de TI envolve a definição de padrões e diretrizes para seu desenvolvimento, implementação e uso responsável. Requisitos de transparência algorítmica, garantia de imparcialidade e equidade, proteção de dados sensíveis e prestação de contas por decisões automatizadas podem fazer parte desse mapeamento. Além disso, a regulação também aborda preocupações sobre o impacto dessas tecnologias na força de trabalho, incluindo questões relacionadas com a substituição de empregos, treinamento e requalificação de profissionais afetados. O diálogo entre governos, empresas, especialistas em tecnologia e sociedade civil é e será fundamental para desenvolver políticas e regulamentações que promovam o uso ético e responsável da IA e do ML no setor de TI, garantindo, ao mesmo tempo, a inovação contínua e a proteção dos direitos individuais e coletivos. ❗ Você também pode gostar: Por que uma empresa deve se preocupar com privacidade e ética no uso de dados e qual o papel do profissional de TI nesse cenário?  _________________________________________________ Além dessas áreas, o ML e a IA serão bastante utilizados nos processos de recrutamento e seleção em TI.   Fique por dentro de outras novidades em TI Acompanhe o lançamento semanal de conteúdos da Escola Superior de Redes (ESR) sobre o universo da TI nas mais diversas frentes.  Acesse o nosso #Blog e baixe nosso material gratuito para ter acesso a um conteúdo comprometido com a qualidade e com a disseminação de conhecimento na área.


    09/05/2024
  • Tendências em Ciência de Dados
    Ciência de Dados

    4 tendências em ciência de dados que refletem na sua carreira em TI

    As principais tendências em ciência de dados para os próximos anos englobam as rápidas transformações na dinâmica da sociedade e, sobretudo, nas relacionadas com o consumo – de produtos, serviços e informação.  Neste conteúdo, vamos abordar quais ganham mais destaque e como elas serão trabalhadas e aproveitadas, tanto pelo próprio segmento quanto por profissionais de TI que buscam outras oportunidades de trabalho.  Qual o cenário da ciência de dados atualmente?  O mais recente estudo da área no país, State of Data Brazil 2022, realizado em conjunto pela Data Hackers e Bain & Company, analisou, entre 10 de outubro e 28 de novembro de 2022, o panorama do setor até então. Para isso, entrevistou 4.271 participantes, os quais responderam a um questionário responsável por estruturar um relatório completo com diferentes indicadores, como:   Os relacionados com o perfil demográfico de profissionais da área; Formação e atuação no setor; Remuneração, rotatividade e fatores de satisfação no ambiente de trabalho, incluindo o impacto do trabalho remoto nas preferências profissionais, entre outros aspectos.  Compilamos os insights mais relevantes da pesquisa, que nos orientam sobre o cenário do segmento:  “Em relação à edição de 2021, aumentou a diversidade de cursos de ensino superior dos profissionais de dados, indicando maior migração de profissionais de outras áreas para a área de dados, bem como o surgimento de novas posições relacionadas com dados nas empresas.” “O percentual de profissionais abertos a novas oportunidades aumentou de 40,2%, em 2021, para 64,9%, em 2022.” “O modelo preferido de trabalho dos profissionais de dados consolidou-se como o híbrido, com dias flexíveis, com 52,6% de preferência, seguido pelo modelo 100% remoto (39%).” “A remuneração dos profissionais de dados aumentou, em média, cerca de 4% entre 2021 e 2022.” “A falta de diversidade entre os profissionais de dados é um tema relevante, com vários grupos de gênero, cor/raça/etnia e portadores de deficiência sub-representados em relação à população.” 👉 Leia a pesquisa State of Data Brazil 2022 na íntegra. O relatório corrobora a percepção da crescente importância da ciência de dados, uma área que, além de abrir novas vagas, contribui para uma postura preditiva de empresas e de soluções que operam identificando as demandas do mercado e dos usuários de maneira antecipada, com foco na satisfação e na experiência desses agentes.  A ciência de dados é uma das principais responsáveis por utilizar métodos sistematizados para, por meio de coleta, organização, análise e interpretação de grandes conjuntos de dados, extrair insights e conhecimentos valiosos que podem ser aplicados a todas as áreas da vida humana.  De forma geral, é no desenvolvimento dessa ciência que as decisões das empresas se tornam cada vez mais assertivas e estratégicas, além de voltadas para a resolução efetiva de problemas ou para que eles sejam evitados.  Quatro principais tendências em ciência de dados para os próximos anos 1) Sistemas Inteligentes (SI) Objetivamente, a inteligência artificial (IA) é um dos campos da ciência da computação que se concentra no desenvolvimento de sistemas e algoritmos capazes de analisar uma quantidade de dados bastante grande e, com isso, identificar padrões, aprender, tomar decisões e reproduzir respostas automatizadas.  Por meio desses mecanismos, a IA consegue, de maneira ágil, aplicar o conhecimento adquirido de bancos de dados diversos na melhoria de processos e experiências, em diferentes frentes – saúde, marketing, entretenimento, transporte etc.  As abordagens de utilização são inúmeras, como redes neurais; o próprio machine learning, reconhecido instrumento das marcas de consumo; e-commerce e streaming; algoritmos genéticos, entre outros.  Como tendência da área de ciência de dados relacionada com a IA está a profissionalização dos elementos que envolvem essa tecnologia, como o desenvolvimento de uma regulamentação específica para isso, bem como a continuidade dos esforços para a estruturação de processos de transparência e ética no trabalho com os dados. Há também a preocupação com a melhoria dos recursos de interpretabilidade.  Atualmente, a IA está presente em chatbots; nas recomendações de conteúdo; no reconhecimento de voz e na tradução simultânea; em veículos autônomos; nas análises de dados e padrões; em jogos e simulações; na medicina e no diagnóstico, entre outros exemplos, e a estimativa é que ela continue crescendo e, cada vez mais, seja incorporada ao cotidiano popular.   Não só é uma aposta como uma realidade de mercado.   👉 O que é inteligência artificial e como ela é a realidade do momento 2) Ética e privacidade de dados  Principalmente depois das leis de regulamentação do tratamento de dados espalhadas pelo mundo, como a GDPR e a LGPD, a pauta ética, transparência e privacidade ganhou ainda mais destaque no meio corporativo. Agora, além de as empresas se preocuparem com as adequações normativas relacionadas com o tema, os usuários estão mais conscientes do valor de seus dados. Por isso, uma das principais tendências da ciência de dados para os próximos anos é a estruturação de setores responsáveis por políticas sérias de transparência, consentimento e a adequação às leis de tratamento e segurança de dados.  3) Big data ainda mais aprofundado Atualmente, o big data não só é implementado como tem o seu potencial amplamente reconhecido nas empresas de todo o mundo. Aquelas que investem em inovação e no trabalho com dados superam a concorrência e conseguem driblar o constante desafio de interpretar as necessidades e expectativas de clientes que mudam cada vez mais rápido.  O imbróglio, para a maior parte dos negócios, não é mais lidar com o grande número e a geração constante de dados, mas, sim, desvendar a equação acima (comportamento do consumidor) e sair na frente da forte/plural concorrência, além, claro, do enfrentamento das questões de segurança.  Assim, uma das principais tendências de ciência de dados nesse sentido está associada à integração da área com a de DevOps. As práticas ágeis de desenvolvimento; automação de processos; controle de versão e implantação contínua; incidentes sobre bancos de dados expressivos contribuirão para um ciclo de vida veloz dos projetos de dados das organizações.  Outro exemplo de tendência é a aplicação mais incisiva de big data em áreas do marketing, por exemplo, para que as empresas tracem um perfil completo dos seus clientes, cada vez mais conectados à realidade omnicanal de consumo.  4) Internet das Coisas (IoT) A Internet das Coisas se interliga diretamente com as demais tendências em ciência de dados. Conceitualmente, a IoT se refere ao sistema de dispositivos que são interconectados e, por meio disso e da internet, trocam e analisam dados. O objetivo dessa tecnologia é permitir que objetos físicos se comuniquem e interajam uns com os outros, bem como com os usuários, por meio de sensores, redes e tecnologia de comunicação. Nesse contexto, a estimativa é que o recurso forneça cada vez mais integração e seja mais acessível com o passar do tempo.  Hoje em dia, a IoT desempenha um papel fundamental no desenvolvimento de cidades inteligentes; no monitoramento e na manutenção preditiva, com a otimização de processos de logística, por exemplo; na saúde conectada, quando dispositivos médicos e sensores wearable (usados no corpo) são utilizados para monitorar sinais vitais; nas atividades físicas; nos padrões de sono e muito mais, entre outras possibilidades.  ————————- Acompanhar as tendências em ciência de dados pode ser o primeiro passo para o profissional de TI que quer se especializar em alguma de suas vertentes e amplificar suas possibilidades de trabalho. O segundo é investir nas melhores capacitações do mercado.  >> Conheça os cursos e treinamentos da ESR, a líder do mercado em educação e formação para a tecnologia


    30/06/2023
  • GPT-3
    Ciência de Dados

    O que se sabe sobre o modelo GPT-3?

    A Internet 5G e a Inteligência Artificial são duas das grandes apostas da tecnologia para os próximos anos. Dentro deste universo encontra-se o conceito de GPT-3. Você está familiarizado com o termo?  Desenvolvido pela OpenAI, empresa de pesquisa e implantação de IA, o GPT-3 é um novo modelo de linguagem, lançado em 2020, que, por meio de aprendizado de máquina (machine learning), consegue interpretar dados e criar mensagens tão reais e com tamanha qualidade que se assemelha, em certa medida, das conversações realizadas pelos humanos.  Falamos em semelhança, uma vez que, mesmo diante desses avanços, o modelo ainda conta com limitações importantes em sua operação. Por exemplo, em contato com o GPT-3, você pode utilizar o comando “como está o tempo hoje?”, e receber como resposta algo muito abrangente, tal qual: “Como eu sou uma inteligência artificial, não tenho acesso à informações de tempo atuais. Eu sugiro que você verifique as previsões do tempo ou consulte um site de notícias para obter informações atualizadas sobre o tempo.”.  Qualquer outro tipo de comando que siga esse mesmo sentido obterá uma resposta similar a essa.  Ainda assim, essa parece uma ideia futurista para você? Pois saiba que é mais do que contemporânea e pode ser inserida em diversas funcionalidades do mundo moderno.  O objetivo do Transformador Generativo Pré-Treinado 3, ou, em inglês, Generative Pre-trained Transformer, é, primeiro, superar o modelo anterior em relação aos parâmetros que alimentam o seu sistema – 175 bilhões enquanto o GPT-2 conta com apenas 1,5 bilhão existentes, e, depois, processar a linguagem natural e produzir textos de forma preditiva, diversa e com qualidade, otimizando processos e operações. Neste artigo você encontra outros detalhes sobre o que é o GPT-3, como o modelo funciona e para o que serve.  Continue conosco e descubra o que está por trás dessa tecnologia inovadora.  O que é GPT-3 Como dissemos anteriormente, o GPT-3 é um modelo de linguagem capaz de interpretar um universo enorme de palavras e letras em meio digital e, através de inteligência artificial, produzir novos textos que sigam o padrão do banco de dados analisado.  A tecnologia é sofisticada ao ponto de captar a semântica de algumas das mais de um trilhão de palavras disponíveis em todo tipo de texto digital na internet, relacionar palavras com sentido de produzir frases com sentido e entendimento e, a partir disso, criar novos parágrafos em questão de segundos.  O modelo de linguagem utiliza um codificador e um decodificador, além de um mecanismo de atenção, para prever as próximas palavras na lógica do treinamento ao qual foi inserido e, assim, montar novos textos precisos e coerentes.  De forma prática, o GPT-3 tem esses dois componentes, codificador e decodificador, que funcionam da seguinte forma: o codificador analisa, como entrada, uma palavra anterior na frase e faz uma reprodução em forma de vetor desse padrão. A partir daí há a interação com o mecanismo de atenção capaz de prever uma próxima palavra.  Por sua vez, o decodificador tem como entrada a palavra anterior e a representação vetorial e com isso distribui, levando em conta a probabilidade, as palavras possíveis dentro desse contexto.  Diferenciais do GPT-3 De acordo com a OpenAI, o modelo de linguagem GPT-3 apresenta alguns diferenciais que o colocam em destaque no mercado. Veja alguns deles abaixo.  É considerado mais preciso que outros modelos de linguagem GPT e com desempenho similar ao nível de outros melhores modelos de geração de texto do mercado. Após passar pelo período de pré-treinamento, a tecnologia não demanda a inserção de dados adicionais para produzir seus textos, como é visto em outros modelos de geração de texto. Consegue realizar parágrafos mais compridos e com mais coesão. Como trabalha com um parâmetro grande de dados e pode ter seu algoritmo treinado por meio do machine learning, o GPT-3 pode elaborar textos de diferentes tipos e gêneros, como poesias, exemplos jornalísticos, layouts, etc.  Desvantagens do GPT-3 O GPT-3 ainda é uma tecnologia dependente da ação humana. Somente por meio do treinamento de algoritmo e machine learning é que a tecnologia é capaz de produzir outros textos.  Por isso, a segurança é um dos principais gaps dessa ferramenta. É justamente na fase de preparação do sistema do GPT-3 que encontram-se as maiores falhas — assim como em qualquer tecnologia que utilize a inteligência artificial ou outros tipos de sistemas digitais.  O GPT-3 é alimentado por todo tipo de texto disponível na internet, sendo capaz de identificar novos conteúdos,  se apropriar de suas linguagens e, até mesmo, modificar o seu significado. Em função disso, podem ser utilizados como munição para o sistema preditivo de criação de textos desde artigos científicos produzidos em instituições renomadas, até manifestos de cunho preconceituoso ou teorias da conspiração. Falamos mais disso por aqui em outro conteúdo.  Além disso, é válido ressaltar que o modelo não consegue compreender o que escreve, sendo apenas um reprodutor de  textos, que utiliza mecanismos de previsão, algoritmos e lógica para formular os padrões subsequentes.  Em última análise, outro ponto negativo do GPT-3 é sua inabilidade de produzir tantos textos em outros idiomas quanto em inglês, uma vez que ele é treinado a “aprender” em um banco de dados no qual há predominância de textos escritos na língua anglo-saxã. Para o que serve o GPT-3? Com a definição conceitual do GPT-3 dada acima já é possível imaginar como a ferramenta pode ser utilizada, certo?  As tarefas às quais ele pode ser associado são variadas e cumprem os mais diferentes propósitos, como as 3 descritas a seguir:  1) Chatbots Um dos usos do GPT-3 é observado na otimização do contato de marcas e consumidores ou de qualquer situação que requeira conversação via chat.  O modelo preditivo pode ser conectado a assistentes virtuais e otimizar essa demanda de mercado  2) Layouts   Desde que a ferramenta passe por um período de pré-treinamento no qual haja a descrição de qual o tipo de layout desejado, o GPT-3 é capaz de reproduzir esses códigos.  3) Produção de textos variados O GPT-3 é capaz não só de produzir novos parágrafos quando assim ensinado, como também pode atuar remodelando textos já produzidos. Por exemplo, em casos em que se deseja uma sensação de escrita mais amistosa.  Há também a viabilidade de ser associada a criação de textos jornalísticos, acadêmicos, entre outras potencialidades.  4) Desenvolvimento de softwares Essa é uma das utilizações mais comuns do GPT-3. A inteligência artificial é capaz de auxiliar programadores na construção de blocos de códigos, para o desenvolvimento otimizado de softwares diversos. Inclusive, o uso inicial dessa tecnologia foi, justamente, atender a necessidade de desenvolver softwares com maior agilidade, nas mais variadas linguagens de programação existentes. ———————————— Embora o GPT-3 represente um avanço para o mundo da tecnologia, alguns pontos ainda precisam ser observados em relação à sua arquitetura pesada, algumas limitações de uso e de segurança.  O modelo requer estudo e testes para que se compreenda na prática quais os limites e possibilidades da ferramenta, bem como quais planos de ação para contenção de riscos em caso de uso inadequado e malicioso.  É ainda válido ressaltar que os modelos significam uma revolução no sentido do domínio do Processamento de Linguagem Natural e nas possibilidades de sua associação de trabalho, entretanto, não podem ser considerados substitutos do raciocínio abstrato humano.  Nesse mesmo sentido, algumas discussões devem perpassar a temática da Inteligência Artificial para que haja desenvolvimento de senso crítico frente aos seus avanços. É o caso da utilização de carro autônomo pela Uber, em 2018, que, após atropelamento, culminou no falecimento de um pedestre nos Estados Unidos. Ou seja, ainda há um caminho a ser percorrido e muitos assuntos a serem abordados.  Continue desvendando o universo do GPT-3 aqui!


    09/02/2023
  • Dados estruturados, não estruturados e semiestruturados
    Ciência de Dados

    Dados estruturados, não-estruturados e semiestruturados: diferenças e similaridades

    O universo data abre diversas possibilidades para um profissional da tecnologia da informação se especializar. Neste conteúdo você irá conhecer algumas delas ao entender as diferenças e similaridades existentes entre dados estruturados, não-estruturados e semiestruturados. Em um mundo no qual as informações em nuvem são geradas em velocidade recorde e a atenção do público é requisitada na mesma intensidade por diversas marcas e empresas, é importante compreender como hierarquizar suas estratégias de coleta e interpretação de dados.  Além disso, é preciso ter em mente que, cada vez mais, a Internet é regulamentada em consonância com uma tendência global de tornar o ambiente digital mais seguro e transparente.  Por isso, conhecimento se torna a palavra chave para crescimento de carreira na área. Abaixo você encontrará informações que podem te auxiliar na construção desse processo. Vamos lá? Diferenças entre dados estruturados, não-estruturados e semiestruturados. Falar em estrutura de dados se refere à classificação desses ativos. Os dados podem se apresentar na forma de listas, com processos realizados como numa fila operacional; na forma de árvore, quando há estruturação hierárquica (um elemento principal no topo da árvore seguido dos subordinados a ele); como estrutura de dados grafos, que prevê formas diferentes de relacionar dados, com vértices, ou, nós conectados entre si; por meio da Tabelas Hash, que compreende as estruturas das chamadas tabelas de dispersão, associando chaves de pesquisa a valores pré-definidos; além de outras estruturas, e até de forma não estruturada. Assim, é importante saber que existem três formas básicas de classificá-los: dados estruturados, não-estruturados e semiestruturados. É isso que você irá conhecer de forma mais aprofundada abaixo. O que são dados estruturados?  Dados estruturados são aqueles que, desde a elaboração da estrutura, são pensados estritamente com uma finalidade.  Ou seja, possuem estrutura rígida e previamente definida.  A exemplo disso, quando um banco de dados estruturados é estabelecido, isso é feito de forma específica e não aceita informações diferentes.  Ou seja, se foi desenhado para receber dados numéricos, o banco não aceitará outros formatos.  Como o próprio nome indica, tais estruturas são pensadas antes sequer da existência do dado que será carregado por ali, como é o caso de um formulário online e tabelas de bancos de dados relacionais. A forma de análise dos dados estruturados parte de um padrão que já é conhecido, mas ainda assim requer conhecimentos específicos para construir tabelas em bancos de dados relacionais, por exemplo. Este assunto, os modelos que são criados e a etapa de normalização de dados são temas explorados no curso de Modelagem de Banco de Dados da ESR. Além disso, por não possuírem estruturas que mudam com frequência, esses tipos de dados têm uma análise e processamento “mais fáceis” para um volume menor de dados e estruturas, embora o processamento distribuído de grandes volumes de dados estruturados continue sendo algo bem complexo.  De qualquer modo, para a gestão de transações, os dados estruturados se apresentam como uma melhor opção, na medida em que os mecanismos para garantir a Atomicidade, Consistência, Isolamento e Durabilidade (ACID) destas transações são bem conhecidos.  Em decorrência disso, a confiabilidade dos dados é garantida mesmo em situações extremas, como falta de luz.  Para os demais tipos de dados (não e semiestruturados) garantir todas as características ACID em uma  mesma transação é mais complexo. O que são dados não estruturados?  Os dados não estruturados são aqueles que compreendem cerca de 80% deste universo. Diferentemente do primeiro, não requer estruturas bem definidas, ou padronizadas e podem ser compostos por elementos diversos, comuns ao cotidiano das pessoas.  É o caso de fotos, áudios, vídeos, textos, emojis, etc.  Por não ter uma  estrutura padronizada, o uso de dados não estruturados requer uma observação um pouco mais apurada.  De forma geral, qualquer dado tratado por um computador tem uma estrutura. Um texto longo é composto por uma sequência de letras, números, pontuação e espaços em branco que formam palavras, frases e parágrafos de tamanhos variáveis que poderão abordar variados assuntos.  Uma foto também é composta por uma matriz de pontos, cada uma de uma cor e brilho específicos, que juntos formarão uma imagem que pode ser de uma paisagem, pessoa, ou até mesmo de uma página de um livro. O ponto principal é que não é possível saber previamente o tamanho e o conteúdo/significado dos dados não estruturados. Mas, isso está mudando!  É preciso que, para analisar seu conteúdo, se ensine uma máquina a compreender, fazer a interpretação e os cálculos, por meio de equações de matemática, dos padrões aos quais se pretende observar.  Você certamente já ouviu falar de machine learning e da sua importância para esse tipo de análise complexa de dados, certo? Antes era comum dizer que um computador não conseguia entender uma foto. Entretanto,  agora é possível apresentar um conjunto enorme de fotos, por exemplo, de gatos para a máquina. Cada ponto de cada uma destas fotos carrega informações numéricas sobre sua cor, brilho e outras características.A relação de proximidade entre um determinado ponto e os demais que estão à sua volta para cada região da foto também pode ser calculada. Inúmeras equações matemáticas são realizadas e a máquina é capaz de refinar o entendimento dos resultados de todos estes cálculos que correspondem a fotos de gatos.   É por isso que essa técnica é chamada de aprendizado de máquina e já permite que um computador reconheça fotos de gatos e de inúmeros outros animais e objetos (se tiver sido previamente treinada para fazer este reconhecimento).  Portanto, a principal diferença desse tipo de dado não estruturado  para os demais é que  a organização deles é totalmente aberta. Enquanto nele  não é possível saber o tamanho de cada dado e a classificação do seu conteúdo, nos outros tipos a organização dos dados  está presente em maior (estruturados) e menor grau (semiestruturados).  O que são dados semiestruturados? As classificações destinadas aos dados dizem muito sobre seus comportamentos.  Dessa forma, nos semiestruturados há uma combinação de características de dados estruturados e dados não estruturados. É como se falássemos que o dado semiestruturado tem menos controle do que o estruturado e mais rigidez (menos confusão) do que os não estruturados.  A exemplo desse tipo de dados podemos citar o código HTML que, ao mesmo tempo, não limita a quantidade de informações que você quer e pode coletar, e ainda hierarquiza seus documentos por meio de elementos semânticos. Há também, dentro desse espectro, padrões para intercâmbio de dados usando XML e equivalentes. Representa, em comparação a esses outros dois tipos, uma versão que permite maior escalabilidade e flexibilidade que os estruturados e também mais organização que os não estruturados.  Assim, quando se compara a questão de flexibilidade e escalabilidade de dados, os estruturados, por dependerem de esquemas e serem relacionais, não tem flexibilidade mas são mais escaláveis, enquanto os não estruturados são muito flexíveis, mas, menos escaláveis e, por fim, os semiestruturados se enquadram no meio termo.   _________________________________________________ Portanto, dados estruturados, não-estruturados e semi-estruturados representam uma infinidade de possibilidades de análises, interpretações e utilizações.  De acordo com um levantamento realizado pela plataforma de relacionamentos profissionais, LinkedIn, dentre as 25 profissões que estarão em alta ao longo de 2022, continuarão liderando as posições aquelas ligadas à tecnologia, ciência de dados e design. Portanto, especializações na área podem ser um divisor de águas nos projetos de carreira.  No curso Analista de Dados de Negócios, da ESR – referência em treinamentos para a área tecnologia-, você terá uma formação inicial sobre o tema, conhecendo os principais conceitos e ferramentas utilizadas, compartilhando os casos de sucesso e insucesso e explorando a contribuição do analista de dados de negócio neste resultado.  Saiba mais sobre o curso aqui! Continue conosco por outros conteúdos sobre a área:  Acesso o Blog da ESR ou nossos materiais ricos. 


    28/04/2022
  • inteligência artificial
    Ciência de Dados

    O que é inteligência artificial e como ela é a aposta do presente

    Faz algum tempo que pensar no futuro se desconectou da ideia de carros voadores! Se antes os filmes futuristas de ficção-científica previam esse como o cenário tecnológico mais avançado já visto, os dados digitais, inteligência artificial, machine learning, entre outras facetas do mundo em nuvem provaram outra coisa.  Primeiro, que o futuro já é agora! Temos mais dados gerados, armazenados e compartilhados do que nunca e entender como gerenciá-los faz parte de um dos desafios do “agora”.  É nesse contexto que a Inteligência Artificial se desenvolve a cada dia e oferece uma oportunidade de avanços incríveis para os próximos tempos, além de uma excelente área de atuação profissional. Algo que você confere ainda nessa leitura. Afinal, você sabe o que é Inteligência Artificial? Continue pelo guia prático sobre esse assunto para descobrir. Você vai encontrar:  O que é inteligência artificial? Dúvidas frequentes sobre Inteligência artificial  Qual a relação entre Inteligência Artificial e Ciência de Dados?  O que é Inteligência Artificial?  Inteligência artificial, IA ou AI (em inglês artificial intelligence), é um conjunto de ferramentas digitais que permite que sistemas eletrônicos simulem “inteligência e comportamentos humanos”, por meio de análise e compreensão de dados e seus padrões.  De forma resumida, falar em Inteligência Artificial é pensar na capacidade, cada vez mais avançada, de máquinas e dispositivos gerarem interações dos mais diferentes tipos, para os mais diferentes fins, com base em dados coletados de fontes variadas.  O objetivo da IA é atuar para além da observação simples desses dados e da programação de ordens específicas.É ser capaz de perceber o ambiente ao qual se está inserida, para gerar resultados significativos, de forma independente, e totalmente conectada com esse universo enorme de dados. Para isso, são usados Machine Learning, Deep Learning, Processamento de Linguagem Natural, dentre outros avanços tecnológicos. A Inteligência Artificial se empenha, portanto, na possibilidade de dar às máquinas a habilidade de reproduzir competências, como raciocínio, planejamento, criatividade, aprendizagem e, até mesmo, interações humanas. Aqui, é importante ressaltar que mesmo que esse termo tenha se popularizado nos últimos anos, como identificado pelo Google Trends nas pesquisas no Google sobre IA que cresceram 4 vezes nos últimos 5 anos, a Inteligência Artificial já foi cunhada há algum tempo.  Mais exatamente, falou-se pela primeira vez nesse avanço tecnológico, mesmo que em outros contextos e condições, em 1955, quando o professor John McCarthy, de matemática do Dartmouth College, o apresentou ao mundo. Desde então a Inteligência Artificial evolui a passos largos. Em 1960 o primeiro chatbot ganhou vida, o nome de Eliza e funções ainda limitadas de processamento da linguagem natural humana.  Pouco tempo depois, nos anos 90, o supercomputador da IBM, chamado Deep Blue, ganhou destaque por vencer uma partida de xadrez contra o maior enxadrista da época, Garry Kasparov.  Já atualmente, os algoritmos inteligentes permitiram uma evolução ainda mais significativa da Inteligência Artificial, que agora oferece soluções mais integradas, completas e independentes.  Do Teste de Turing ao que vivemos hoje, a IA comprova que a tecnologia nunca para de avançar! Dúvidas frequentes sobre inteligência artificial Onde encontramos Inteligência Artificial atualmente?  Você pode não perceber, mas toda a sua rotina é cercada por Inteligência Artificial.  Os chatbots “automatizados” dos e-commerces, por exemplo, operam por meio dessa tecnologia e, assim, otimizam os processos de compra e venda do consumidor e da empresa.  As ferramentas de personalização de oferta de conteúdo como as vistas nos streamings, pelos quais são indicados os próximos filmes, músicas e séries baseados no gosto do usuário e no que ele já assistiu/ouviu, também são parte de uma atuação da Inteligência Artificial.  Os carros autônomos, aqueles que se locomovem sem a necessidade de um motorista, representam Inteligência Artificial. E, além disso, outras ferramentas como a Siri, Alexa, televisores que ajustam sua imagem e som automaticamente de acordo com o ambiente no qual estão inseridos, são possíveis graças à Inteligência Artificial.  Ou seja, ela está entre nós o tempo todo.  A Inteligência Artificial irá substituir o trabalho humano?  É preciso desmistificar essa pergunta!  Apesar de simular os comportamentos e inteligência humana, a IA é desenvolvida com o objetivo de potencializar, não substituir, as relações do homem em seus vários níveis (pessoal e laboral, por exemplo).  A partir daí, a ideia do avanço dessa tecnologia, combinada com a atuação humana, principalmente daquele profissional que entende a ciência de dados, é permitir que se haja otimização de processos, tempo para a execução funções mais criativas, uma rotina mais prática, planejada e com menores riscos, além de agilidade e ações escalonadas. É nesse contexto que a profissão de “cientista de dados” é uma das que mais cresce no mundo, uma vez que seus representantes são capazes de contribuir com o desenvolvimento dessa potente mudança tecnológica da área da ciência da computação. Segundo o Future of Jobs, do Fórum Econômico Mundial, a carreira de “cientista de dados” aparece em primeiro lugar na lista de profissões em alta demanda para os próximos anos.  Enquanto isso, de acordo com o levantamento da Intera, HRtech de recrutamento digital, parte do Cubo Itaú, especialistas em Data Analytics, Data Engineer e Data Science foram os mais recrutados por empresas de inteligência de dados ao longo da pandemia, representando um crescimento de aproximadamente 485% em comparação ao mesmo período de 2020.  Se interessou pela área? Conheça a trilha de cursos sobre Ciência de Dados da ESR Quais os benefícios da Inteligência Artificial? Além dos já citados anteriormente, a Inteligência Artificial pode potencializar diversas áreas fundamentais da vida humana, como a saúde. De acordo com a European Parliamentary Research Service, a IA tem contribuído para o combate à Covid-19, por exemplo, ao ser utilizada no sistema de controle térmico em ambientes coletivos, além de auxiliar o reconhecimento da infeção por meio de radiografias computadorizadas da tomografia dos pulmões e de fornecer dados para localizar a propagação do vírus. Outro ponto de destaque de benefícios da Inteligência Artificial, e conectado às demandas atuais, é a criação de mecanismos capazes de identificar um conteúdo falso, as chamadas fake news, combatendo a desinformação e suas consequências. Qual a relação entre Inteligência Artificial e Ciência de Dados? Como explicamos anteriormente, a Inteligência Artificial é possível por meio da combinação de big data, bons modelos de dados e computação em nuvem. Ou seja, ela depende integralmente de dados e da sua interpretação.  Por isso, o profissional que domina essa ciência é tão necessário nos dias de hoje. Aliar a capacidade da máquina de reproduzir comportamentos humanos às expertises de profissionais da área, é o que garantirá a constante evolução dessa tecnologia.  Se você chegou ao final desse conteúdo com interesse em se destacar nesse segmento da tecnologia, comece a sua especialização. Conheça a trilha de cursos sobre Ciência de Dados da ESR.


    31/01/2022
  • Machine Learning
    Ciência de Dados

    O que é Machine Learning e qual a sua importância?

    Você sabe o que é Machine Learning? Em tradução livre do inglês, o termo carrega o significado de “aprendizado de máquina”, que pode ser entendido como um método de análise de dados que automatiza a construção de modelos analíticos.  A partir dessa aplicação, compreende-se que o conceito está diretamente ligado a um ramo da inteligência artificial baseado na ideia de que sistemas podem aprender com dados, identificar padrões e tomar decisões com o mínimo de intervenção humana. À exemplo do que  algumas plataformas digitais, sistemas de internet das coisas e outras inovações já conseguem fazer.  De modo geral, pode-se dizer que o Machine Learning é uma tecnologia onde os computadores têm a capacidade de aprender de acordo com as respostas esperadas, por meio de associações de diferentes dados, os quais podem ser imagens, números e tudo que essa tecnologia possa decodificar.  Graças às novas tecnologias computacionais, o machine learning de hoje também tem se atualizado, mesmo que se trate de uma criação recente. Afinal, o conceito nasceu do reconhecimento de padrões e da teoria de que computadores podem aprender sem serem programados para realizar tarefas específicas; pesquisadores interessados em inteligência artificial queriam saber se as máquinas poderiam aprender com dados.  O aspecto iterativo do aprendizado de máquina é importante porque, quando os modelos são expostos a novos dados, eles são capazes de se adaptar independentemente. Eles aprendem com computações anteriores e são capazes de produzir decisões e resultados confiáveis, passíveis de repetição. Isso não é uma ciência nova – mas uma ciência que está ganhando um novo impulso e novas aplicações mediante ao avanço da ciência da computação e das tecnologias.  Embora diversos algoritmos de machine learning existam há muito tempo, a capacidade de aplicar cálculos matemáticos complexos ao big data automaticamente – de novo e de novo, mais rápido e mais rápido – é um desenvolvimento moderno. Eis alguns exemplos bem conhecidos de aplicações de machine learning, sobre os quais você já deve ter ouvido falar: 1. Machine Learning na Netflix, Spotify e Amazon Prime Video: o que consumir agora? Nos três serviços de streaming, o machine learning é usado principalmente na personalização. A tecnologia aprimora constantemente os algoritmos de recomendação, além de moldar o catálogo de filmes, séries, podcasts e músicas de acordo com a resposta do usuário. Sim, cada um desses serviços oferece, de forma exclusiva e personalizada, opções que combinam com você a partir de dados  coletados com base nas suas preferências e padrões de consumo  dentro das próprias plataformas.  No caso da Netflix e da Amazon Prime Video, a quantidade de dados gerada por milhões de assinantes em diferentes países do mundo é usada para direcionar a produção de filmes e séries originais. A informação é usada em modelos preditivos baseados no histórico de visualizações e nas avaliações dos usuários. O machine learning ainda é empregado para otimizar a codificação de vídeo e áudio, a seleção de bitrate e a rede de entrega de conteúdo. Em 2021, a Netflix superou a marca de 200 milhões de assinantes, enquanto a Amazon Prime Video passou de 150 milhões de usuários ativos em todo o mundo. Já o Spotify conta com 320 milhões de usuários ativos e 144 milhões de assinantes. Mostrando que a personificação do conteúdo a partir de machine learning não é o futuro, é o presente e pode sim ser extremamente lucrativo.   2. Uber: o melhor caminho a seguir, graças ao machine learning Este exemplo de machine learning também se baseia em modelos preditivos. É graças ao aprendizado de máquina que o aplicativo do seu smartphone sinaliza o tempo estimado de chegada (estimated time of arrivals, ETA, na sigla em inglês) do motorista e o horário em que o usuário estará em seu destino, por exemplo.  O machine learning também é usado para garantir a segurança de motoristas e passageiros, ao analisar em tempo real as viagens realizadas diariamente pelo aplicativo. A ferramenta, inclusive, bloqueia viagens consideradas potencialmente mais arriscadas. A Uber, inclusive, se tornou uma das pioneiras do setor a disponibilizar uma plataforma open source de machine learning, a Michelangelo, que permitiu a escalabilidade da nova tecnologia  para nível global. No ano passado, a Uber realizou mais de 16 milhões de viagens e entregas por dia no mundo. 3. Google Adwords, Facebook Ads e Instagram Ads: anúncios bem segmentados com machine learning Os anúncios em buscadores e redes sociais funcionam na base de leilões, já que são patrocinados. Dessa forma, são propagandas que colocam os que pagam mais em primeiras posições de “aparição”. Ou seja, o vencedor terá seu anúncio exibido ao usuário. Como os leilões ocorrem de maneira incessante todos os dias, o machine learning otimiza o processo a partir de lances inteligentes. A estratégia torna as campanhas mais lucrativas, por meio de taxas de cliques (CTR) preditivas e estimativas de conversão com base no comportamento do usuário. Com o machine learning, empresas de todos os tamanhos veem aumentar o retorno do investimento (ROI) nas plataformas de anúncio. 4. Google Tradutor: máquinas que aprendem outros idiomas Criado em 2006, o Google Tradutor tem a proposta de transcrever e traduzir frases de forma instantânea em mais de 100 idiomas. Você lembra de como eram as primeiras traduções? Elas se tornaram cada vez mais precisas graças ao machine learning. A tecnologia permitiu que a ferramenta aprendesse de acordo com as pesquisas dos usuários. Hoje, o Google Tradutor consegue traduzir textos contidos em imagens por meio da câmera do smartphone, por exemplo, mostrando a evolução desse aprendizado a partir da utilização de um sistema com coleta de dados.  5. Lu da Magalu e o exemplo de machine learning em assistentes virtuais Se você faz compras online, já deve ter se deparado com a Lu. A assistente virtual do Magazine Luiza interage de maneira cada vez mais natural com os usuários com a ajuda do machine learning. A Lu da Magalu, aliás, já é considerada um case de sucesso de branded content, por ter aumentado o engajamento entre a marca e o público. O sistema de chatbot por trás da Lu foi desenvolvido principalmente para atender os clientes no pós-venda. Ele aprende de forma autônoma como entender a linguagem natural, como gírias e até erros de português. O aprendizado de máquina permitiu que a Magazine Luiza oferecesse atendimento de forma constante aos clientes, além de ter um sistema integrado diretamente aos dados da empresa, sem precisar de uma interface humana para a consulta. A marca fechou 2020 com o maior faturamento de sua história: R$ 43,5 bilhões. Hoje a Magazine Luiza é a líder brasileira do varejo multicanal e do e-commerce formal. Tendências do mercado com Machine Learning  Grandes mudanças estão em andamento no mundo do marketing, da tecnologia e das grandes corporações que buscam inovação e avanços significativos no mercado. Essas mudanças estão em grande parte relacionadas com o poder do machine learning. Seu impacto é tão grande que 97% dos líderes acreditam que o futuro do marketing consistirá em profissionais experientes que trabalharão em colaboração com entidades de automação baseadas em aprendizagem de máquinas. As técnicas machine learning são usadas para resolver uma série de problemas diversos, e as empresas podem beneficiar seu negócio à medida que avançamos para um mundo de dados, canais, conteúdo e contextos de convergências extremas. Para a equipe de marketing moderna, machine learning é encontrar peças de conhecimento preditivo nos dados estruturados e não estruturados, e usá-los ao seu favor. A capacidade de responder de forma rápida e precisa às mudanças no comportamento do cliente é a aposta do mundo de hoje. Necessidade de se atualizar e acompanhar os avanços do mercado  Exatamente por já ser o presente e estar em praticamente todos os momentos conectados dos usuários, a área demanda capacitações constantes. É preciso buscar atualização e reconhecimento sobre os processos de machine learning a partir de cursos e treinamentos.  Uma das opções mais completas que servem a esse propósito atualmente é o curso de Introdução à Ciência de Dados da ESR.  Nele são ofertados conteúdos introdutórios que exploram desde a evolução histórica desses motores, Analytics & Big Data, além de explorarem questões éticas sobre Ciência de Dados, LGPD, machine learning e muito mais.   Outro material de pesquisa relevante é o Webinar sobre Ciência de Dados realizado pela ESR. O material surge com o intuito de permitir uma experiência de aprendizado ampla na área, para os diferentes papéis que compõem um time de Analytics, introduzindo as principais pautas que cercam a Ciência de Dados e, a partir disso, motivando o espectador a se aprofundar na temática.  Ao longo da exposição são abordadas pautas como: Conceitos Básicos de Analytics & Big Data, Estratégia e Inovação com Inteligência Artificial, Os desafios do uso de Ciência de Dados de forma Profissional e alguns casos de uso. Fique por dentro: assista o evento completo! 


    13/01/2022
  • Ciência de Dados
    Ciência de Dados

    O que é Ciência de Dados?

    A ciência de dados combina vários campos, incluindo estatísticas, métodos científicos, inteligência artificial (IA) e análise de dados, para extrair valor dos dados coletados em ambientes digitais.  Aqueles que praticam a ciência de dados são chamados de cientistas de dados e agregam uma variedade de habilidades para analisar dados coletados da web, smartphones, clientes, sensores e outras fontes com o objetivo de se obter insights acionáveis. A ciência de dados abrange a preparação de dados para análise, incluindo limpeza, agregação e manipulação de dados, que irão gerar análises de dados avançadas. Os aplicativos analíticos e os cientistas de dados podem então revisar os resultados para descobrir padrões e permitir que os líderes de negócios obtenham percepções com informações relevantes. Além disso, é a principal ciência para definição de tendências, comportamentos e análises profundas.  O que é Ciência de dados Ciência de dados é um dos campos que mais cresce atualmente por utilizar informações reais e coletadas de ações para criar mecanismos, tecnologias, aplicações em plataformas digitais, auxiliando no aperfeiçoamento de ações automatizadas.  Como a tecnologia moderna permitiu a criação e armazenamento de quantidades crescentes de informações, os volumes de dados “pipocaram”. Estima-se que 90% dos dados do mundo tenham sido criados nos últimos dois anos. A título de exemplificação podemos citar o caso do Facebook, pertencente a empresa Meta, que possui um carregamento de 10 milhões de fotos a cada hora por seus usuários. A questão principal é que a riqueza de dados coletados e armazenados por essas tecnologias pode trazer benefícios transformadores para organizações e sociedades em todo o mundo. Entretanto, tais vantagens só são palpáveis se pudermos executar a interpretação desses dados coletados. É aí que entra a ciência de dados. A ciência de dados revela tendências e produz as informações que as empresas podem usar para tomar melhores decisões. Além disso, também cria produtos e serviços mais inovadores. E, talvez, o mais importante da área seja que ela permite que os modelos de machine learning (ML) aprendam com as grandes quantidades de dados que são fornecidos a eles, ao invés de dependerem exclusivamente de analistas de negócios para gerar descobertas a partir dos dados. A informação é a base da inovação, mas seu valor se origina nos dados que os cientistas podem extrair e depois transformar em insumo. Como a ciência de dados transforma os negócios As organizações estão usando equipes de ciência de dados para transformar os dados em uma vantagem competitiva, refinando produtos e serviços. Os casos de uso de ciência de dados e machine learning incluem: Determinar a rotatividade de clientes, analisando os dados coletados nos call centers, para que o marketing possa tomar medidas para retê-los; Melhorar a eficiência analisando padrões de tráfego, condições meteorológicas e outros fatores para que as empresas de logística possam catalisar as velocidades de entrega e reduzir custos; Melhorar o diagnóstico de pacientes ao analisar dados de exames médicos e sintomas relatados para que os médicos possam diagnosticar doenças mais cedo e possam tratá-las com mais eficácia; Otimizar a cadeia de abastecimento, prevendo quando o equipamento irá quebrar Detectar fraudes em serviços financeiros, reconhecendo comportamentos suspeitos e ações anômalas; Melhorar as vendas criando recomendações para clientes com base em compras anteriores. Muitas empresas priorizaram a ciência de dados e o forte investimento no setor. Na pesquisa recente do Gartner, com mais de 3.000 Diretores de Informações (CIOs), os entrevistados classificaram o business intelligence e a análise avançada como o principal diferencial de tecnologia para as suas corporações. Os Diretores de Informações (CIOs) entrevistados consideram essas tecnologias as mais estratégicas para suas empresas e estão investindo de acordo.   O que faz um cientista de dados? Como especialidade, a ciência de dados é jovem. Ela cresceu a partir dos campos de análise estatística e mineração de dados (data mining). O Data Science Journal estreou em 2002, publicado pelo Conselho Internacional para Ciências: Comitê de Dados para Ciências e Tecnologia. Em 2008, o título de cientista de dados foi cunhado e a área decolou rapidamente. uma escassez de cientistas de dados vem sendo percebida desde então, com diversas faculdades e universidades  começando a oferecer graduação em ciência de dados. As funções de um cientista de dados podem incluir o desenvolvimento de estratégias para analisar dados, preparar dados para análise, explorar, analisar e visualizar dados, construir modelos com dados usando linguagens de programação, como Python e R, e a implementação de modelos em aplicativos. O cientista de dados não trabalha sozinho. Na verdade, a ciência de dados mais eficaz é feita em equipes. Além de um cientista de dados, essa equipe pode incluir um analista comercial que define o problema, um engenheiro de dados que prepara os dados e como eles são acessados, um arquiteto de TI que supervisiona os processos e a infraestrutura subjacentes e um desenvolvedor de aplicativos que implementa os modelos ou os resultados da análise em aplicativos e produtos. Se você busca uma profissionalização nessa área ou quer entender melhor sobre essa carreira que cresce no Brasil e no mundo, conheça o curso da ESR.  Afinal, a Ciência de Dados é o assunto do momento, muitas organizações estão mudando seus modelos de gestão para serem orientadas aos dados. Porém, para construir uma instituição verdadeiramente centrada nesses insumos, se faz necessário definir uma estratégia que contemple dimensões que são apresentadas de maneira única no curso da ESR.  Ainda precisa de um aprofundamento antes de tomar sua decisão? A ESR possui um Webinar sobre o assunto para tirar todas as dúvidas e mostrar outras aplicações e detalhes sobre a Ciência de Dados. Confira aqui! 


    06/01/2022
  • Data Management
    Ciência de Dados

    Data Management: uma definição de termos

    Data Management é o processo de coleta, armazenamento, organização e gestão de dados criados e obtidos pelas organizações. A execução apropriada desta atividade é fundamental para que a área de TI mantenha todos os sistemas operando de forma eficiente, e também para que os objetivos do negócio sejam atingidos. A análise de dados fornece diferentes tipos de insights para embasar a condução dos processos dentro de um negócio. As informações analisadas podem ser referentes a diferentes públicos dentre os stakeholders de uma empresa, como clientes, colaboradores e fornecedores, pode ter relação com o uso de um produto ou serviço, pode trazer feedbacks etc. Sendo assim, compreender alguns termos e conhecer tipos de soluções e ferramentas de gestão de dados (Data Management) é fundamental para que a equipe de TI da sua organização contribua para a evolução do negócio. Continue a leitura deste artigo e saiba mais! O que são soluções de Data Management Com a expansão da quantidade de dados gerados e disponibilizados, e o consequente aumento de interesse das empresas por aproveitar melhor esses ativos , as soluções de Data Management têm ganhado mais espaço no dia-a-dia da TI. Segundo o Gartner, existem três principais tipos de estruturas que suportam operações de Data Management e podem ser utilizadas de forma combinada para serem potencializadas. São elas: Data Warehouse (trazendo também a visão de Data Mart), Data Lake e Data Hub.  Por se tratar de um assunto ainda relativamente novo no mercado brasileiro, muitos profissionais e organizações têm dúvidas quanto às diferenças entre essas soluções. Porém, elas possuem, sim, padrões de acesso, tipos de dados e propósitos primários diferentes entre si. Entenda melhor a seguir e saiba qual a melhor alternativa de adaptação para o seu negócio. Data Warehouse Dentre as soluções de Data Management, uma das alternativas que iremos abordar neste artigo é o Data Warehouse. Trata-se de um repositório central de dados integrados e estruturados oriundos de, pelo menos, duas fontes diferentes — no caso de empresas, as fontes podem ser as áreas, como RH, vendas, marketing etc.  Por armazenar com eficiência somente dados estruturados, é preciso que estes estejam limpos, tratados e organizados ao serem importados para o sistema. Para isso, o processo utilizado é o de ETL (Extração, Transformação e Carga, ou Load em inglês), que promove a preparação dos dados para a análise. O sistema de Data Warehouse é comumente utilizado para apoiar as equipes de TI na geração de relatórios e análise de dados, fazendo parte das estratégias de Business Intelligence (BI) dentro dos negócios. Data Mart O conceito de Data Mart quando falamos em soluções de Data Management está relacionado a um subconjunto de um Data Warehouse voltado para o armazenamento e apresentação de dados para equipes, setores ou unidades de negócio específicas — e não da organização como um todo. Através desse tipo de solução, a abordagem torna-se muito mais direcionada e possibilita uma otimização dos processos de forma micro. Isso quer dizer que as equipes ou unidades conseguem realizar a curadoria, aproveitamento e manipulação dos dados que as competem de forma direta. Com o Data Mart, essas equipes investem seu tempo nas ações estratégicas e não tanto nas operacionais de selecionar as informações que precisam em meio ao grande volume de dados da empresa inteira. Data Lake Diferentemente do Data Warehouse, o Data Lake oferece uma abordagem menos estruturada e mais flexível para organizações que precisam compilar e analisar dados vindos de fontes variadas.  Isso porque neste formato de solução de Data Management podem ser armazenados dados sem que haja organização prévia, ou seja, recebe dados brutos. No entanto, não se preocupe: você terá acesso às informações de forma organizada para apresentá-las à sua equipe ou aos gestores da empresa a partir do momento que gerar um requerimento para tal dentro do sistema. Com relação aos tipos de dados armazenados, o Data Lake traz para as empresas a opção de coletar dados estruturados (assim como o Data Warehouse), mas também semi-estruturados e não estruturados ou binários. Com essa gama de possibilidades, os usuários de sistemas de Data Management como o Data Lake podem visualizar, criar dashboards, montar apresentações, implementar processos de machine learning e diversas outras funcionalidades a partir dos dados. Data Hub O objetivo principal de um sistema de Data Management no formato de Data Hub é coletar e conectar dados para produzir insights que visam a colaboração e o compartilhamento dessas informações. A definição deste tipo de sistema varia de acordo com as necessidades de uso da organização e os parâmetros elencados como prioritários ou importantes dentro do negócio. Os dados a serem armazenados também podem vir de múltiplas fontes e estar postos em diferentes formatos. Seu grande benefício é a sua função de centralizar todos os dados da empresa e permitir esse compartilhamento que mencionamos anteriormente entre todos os setores conforme a necessidade. Principais diferenças entre as soluções de Data Management Para resumir a abordagem deste artigo de uma forma simplificada, podemos dizer que os sistemas de Data Management possuem diferentes funções, e você pode selecionar aquela que faz mais sentido para o seu negócio conforme a sua necessidade.  Além disso, destacamos que as estruturas de Data Warehouse e Data Lake constituem pontos finais para a coleta dos dados, enquanto aquelas de Data Hub funcionam mais como plataformas para compartilhamento e mediação. A seguir, apresentamos mais especificamente as diferenças entre os modelos de solução de Data Management. A estrutura de Data Warehouse, em essência, tem foco em Business Intelligence (BI). Através da coleta e armazenamento de dados estruturados — seja da organização como um todo, ou mesmo de equipes ou unidades específicas de negócio, como o Data Mart — é possível realizar análises de cenário que levam à tomada de decisão mais certeira a respeito dos rumos do negócio. O modelo de solução focado em Data Lake já traz um benefício diferente, devido à sua estrutura. Por conta do armazenamento de dados não estruturados e não refinados, há uma grande variedade de dados, que podem alimentar amplamente sistemas de Machine Learning e também demandas avançadas de análise de dados. O Data Hub, por sua vez, traz como característica principal o foco na governança de dados de forma proativa, uma vez que reúne os dados permitindo compartilhamento. Por conta dessa permissão, é preciso que as equipes de TI por trás do gerenciamento deste tipo de solução de Data Management estejam atentas à correção máxima possível dos dados. Isso resulta no benefício voltado à governança que mencionamos.  Para finalizar, é importante sinalizar que soluções de Data Warehouse + Data Mart, Data Lake e Data Hub não são intercambiáveis, ou seja, não substituem uma à outra, devido justamente às suas especificidades.  No entanto, elas podem — e devem! — ser utilizadas em conjunto na sua organização, se assim fizer sentido, pois os resultados serão complementares e poderão contribuir diretamente com a transformação digital do seu negócio. Com a leitura deste artigo, ficou mais claro para você as diferenças entre estes conceitos? Comenta aqui se você quiser saber mais, e também continue acompanhando nosso blog. Além disso, confira nossos cursos com matrículas abertas para aprofundar ainda mais a sua capacitação profissional!


    23/06/2021
  • robot humanoid face close up with graphic concept engineering science study scaled 1
    Ciência de Dados

    O que é GPT-3 e os impactos do programa na área

    O que é GPT-3 e os impactos do programa na área Desenvolvido pela Open AI, instituição sem fins lucrativos especializada em pesquisa e desenvolvimento de inteligência artificial, o modelo de linguagem IA GPT-3 é uma das mais inovadoras já criadas. São 175 bilhões de parâmetros utilizados para alimentar seu sistema, em comparação aos 1,5 bilhão existentes no seu imediato predecessor, o GPT-2. A sigla GPT significa Generative Pre-trained Transformer, e representa exatamente este tipo de tecnologia que, com base em machine learning, é capaz de processar a linguagem natural e produzir textos de forma preditiva como se fosse um ser humano. No entanto, existem diversos aspectos que permeiam a relação GPT-3 e segurança, uma vez que a máquina é alimentada pelo ser humano, encontrando aí seu processo de imperfeição. Vamos conhecer um pouco mais sobre o modelo, seus benefícios e cuidados importantes ao abordá-lo. O que é o GPT-3 O GPT-3 é um programa de inteligência artificial focado na produção de textos que se baseia no conceito de rede neural alimentada por algoritmos e machine learning. A partir do estudo de mais de um trilhão de palavras disponíveis em todo tipo de texto digital na internet, o modelo consegue estruturar textos a partir de ideias inseridas nele. Por exemplo, ao realizar uma solicitação — inserir no sistema um parágrafo com determinada ideia —, o programa é capaz de interpretar a ideia presente ali e gerar um novo parágrafo contínuo para compor um texto. A sofisticação da solução é tamanha que ela é capaz de construir cinco novos parágrafos para o texto em questão em apenas 10 segundos. Isso acontece em função da presença de algoritmos estatísticos já identificados em outras publicações realizadas por humanos e disponíveis na internet. O GPT-3 se baseia nos diferentes modelos já existentes e constrói textos utilizando a mesma linha de raciocínio. Este é um grande salto na evolução da humanidade, podendo proporcionar produtividade em níveis extremos ao trabalho diário de centenas de pessoas. Diferentes tipos e formatos de texto poderão ser produzidos com o auxílio desta tecnologia, cabendo aos seres humanos realizar a preparação para tal performance. GPT-3 e segurança: onde está o problema É justamente na fase de preparação do sistema do GPT-3 que se encontram as maiores falhas — assim como em qualquer tecnologia que se utilize de inteligência artificial. O GPT-3 é alimentado por todo tipo de texto disponível na internet, sendo capaz de identificar novos conteúdos e se apropriar de suas linguagens. Em função disso, podem ser utilizados como munição para o sistema preditivo de criação de textos desde artigos científicos produzidos em instituições renomadas, até manifestos de cunho preconceituoso ou teorias da conspiração. E é neste sentido que aparece a relação entre GPT-3 e segurança, pensando principalmente nos resultados que virão dos textos produzidos pelo sistema. São duas as principais preocupações: Ausência de raciocínio abstrato A interpretação de textos dentro dos algoritmos do GPT-3 ocorre de forma mecanizada através dos inputs inseridos no sistema. Assim, os algoritmos são capazes de identificar composições textuais e coesão, porém não atingem os patamares de coerência e semântica. Na relação GPT-3 e segurança, o principal prejuízo que este fator gera é a incapacidade do sistema de raciocinar de forma abstrata, compreendendo o real significado das palavras e reagindo a partir disso. Pensando neste desafio a longo prazo, dezenas de textos estariam disponíveis na internet para consulta gerados a partir deste tipo de tecnologia que não atribui sentido ao que escreve.  Assim, o abastecimento da sociedade com informações ficaria comprometido, suscetível a erros de conteúdo e, consequentemente, replicação de informações falsas ou incorretas por parte das pessoas. Reprodução de preconceitos e estereótipos Já do ponto de vista da reprodução de preconceitos e estereótipos, a segurança das informações fica comprometida por meio destas falsas associações. Estudos sobre o GPT-3 já identificaram que há uma propensão do sistema a relacionar pronomes femininos ou relativos à religiões a termos preconceituosos e estereotipados desses dois universos. Isso acontece com a maior parte dos modelos baseados em inteligência artificial, pois todos são alimentados, originalmente, pelas mãos humanas. E a sociedade ainda não solucionou suas questões de gêneros, etnias, credos, classes e tantas outras mazelas. E isto é refletido diretamente na inteligência artificial, que se alimenta com aquilo que essa sociedade a abastece. Alguns exemplos são o fato de que as mulheres são descritas com adjetivos ligados à aparência, enquanto os homens recebem predicados dentro de um espectro muito maior de competências. Religiões como o Islamismo e o Judaísmo são associadas a racismo e terrorismo. Isso é altamente danoso para a sociedade, uma vez que já temos preconceitos enraizados e ler materiais que endossam esse tipo de visão pode tornar ainda mais difícil o processo de reversão do preconceito e de inclusão e aceitação dentro da sociedade. Sendo assim, estes são os principais aspectos que relacionam GPT-3 e segurança, pensando principalmente em conteúdos gerados a partir do modelo que possam ser consumidos como verdades absolutas por parte da população. O dilema faz parte do cenário em que nossas tecnologias são capazes de tantas coisas boas, ao mesmo tempo que podem se tornar destrutivas se utilizadas com as intenções erradas ou até mesmo por pessoas mais vulneráveis. Cabe avaliar todos os benefícios e seguir trabalhando no desenvolvimento da solução para que atinja níveis cada vez maiores de eficiência e prosperidade. Para conhecer cada vez mais sobre essas e outras novidades do universo da tecnologia, continue acompanhando nosso blog e confira também nosso calendário de cursos!


    08/02/2021