quarta-feira, 31 de janeiro de 2018

Profissões campeãs de emprego, diz pesquisa


O perfil dos profissionais que estão em destaque no mercado de trabalho exige requisitos que sofreram grandes alterações nos últimos anos. Em um mundo em constante evolução, noções em Análise de Dados, principalmente análise preditiva e Data Mining; são mais valorizadas nessa nova área de atuação, que é cientista / analista de dados.

TI
Quanto mais se cresce, mais informações são geradas e uma equipe de Data & Analytics, se faz cada vez mais necessária para transformar todos esse volume de dados em conhecimento e vantagem competitiva para o negócio.

As possibilidades de usar os dados com inteligência são infinitas e temos condições de criar campanhas personalizadas de nível mundial como Netflix, Spotify e Airbnb. Assim como estas, muitas empresas querem atingir esse propósito. Logo abaixo, exponho oportunidades reais de vagas de emprego na área de Data Mining (Mineração de Dados).

 Curso Python


Como você pode observar o mercado tem demanda para essas profissões e as vagas são novas, posições que não existiam.
Outra boa notícia é que o setor de tecnologia é a exceção à estabilidade de salários apontada pela Pesquisa Salarial 2018 feita pela consultoria Robert Walters no Brasil. O perfil mais buscado é técnico, mão-na-massa, mas com capacidade de gestão, segundo a equipe da consultoria. A pesquisa ainda indica que cientistas de dados, profissionais de segurança da informação, de inteligência de negócios, e arquitetos de soluções são algumas das profissões promissoras na área de tecnologia para este ano.

Gostou deste e de outros artigos, então Assine o [Descoberta de Conhecimento] por Email.

segunda-feira, 29 de janeiro de 2018

Mineração de Dados - Classificação


No processo de descoberta de conhecimento em base de dados (KDD) uma das mais uteis tarefas chama-se classificação, como foi visto no post anterior – clique aqui para acessá-lo. Seu objetivo é fazer com que um programa de computador atribua automaticamente uma classe para um objeto cuja classe seja desconhecida.

Desvendado a Técnica
Com o intuito de classificar registros para poder prever, ou seja, tem a tarefa de associar os registros minerados a classes pré-estabelecidas, de acordo com as suas semelhanças, buscando associar cada registro da base a um único rótulo categórico chamado de classe. Por exemplo, com base nas características pessoais de um indivíduo é possível aprender se irá ou não comprar um livro. A classificação é uma das técnicas de aprendizado de máquina mais utilizadas em trabalhos científicos (estado da arte).

Para ficar mais claro, apresento alguns exemplos. Considere um projeto onde a tarefa é verificar o sexo masculino ou feminino. O sistema recebe como entrada a fotografia do rosto de uma pessoa realiza o processamento e no final seja capaz de determinar automaticamente o sexo do indivíduo. Veja que o objetivo do sistema é associar uma classe (“masculino” ou “feminino”) para um objeto (a fotografia de um rosto), desta forma, trata-se de um sistema que realiza a tarefa de classificação.

Existem vários outros exemplos de aplicações práticas em áreas distintas como segurança de informação, finanças, comercio, marketing, bioinformática e outras como: 
  • Detecção de fraudes: identificar se uma transação financeira é “legal” ou “suspeita”.
  • Programas de filtragem de spam: detectar se e­mail é “normal” ou “spam”.
  • Aprovação de crédito: classificar um cliente como de “alto”, “médio” ou “baixo” risco para a concessão de crédito.
  • Atribuição de tópicos (Topic Tagging): textos livres (ex: texto de uma notícia), podem ser automaticamente classificados em um número fixo de categorias (ex: “esporte”, “política”, “cultura”).

Na área de bioinformática, os algoritmos de classificação possuem diversas aplicações como, por exemplo, a identificação da classe de proteínas, o que possibilita descobrir quais são as funções das mesmas.

Um programa ou algoritmo criado com o intuito de executar a tarefa de classificação é denominado classificador. Sua construção deve ser precisa e eficiente devido ao seu grande de minerar grandes base de dados. Por este motivo, foram desenvolvidas diversas técnicas (algoritmos) para a construção de classificadores, tais como, árvores de decisão, redes neurais, SVMs (Support Vector Machines), k­NN (k­Nearest Neighbors) e Naïve Bayes.

Referências:

 10 passos para o Big Data


Gostou deste e de outros artigos, então Assine o [Descoberta de Conhecimento] por Email.

quinta-feira, 25 de janeiro de 2018

Aprendizagem de Máquina


Aprendizagem de Máquina

É dividida em três partes basicamente: supervisionada, não supervisionada e aprendizagem por reforço. As maiores pesquisas da área de aprendizagem de máquina é justamente na supervisionada. Temos as tarefas de classificação e regressão, caso não tenha visto o post sobre Inteligência Artificial e o Mercado, clique aqui para acessá-lo - vá lá para ficar mais informado!

Figura 1: classificação aprendizagem de máquina.


Por outro lado, na aprendizagem não supervisionada de acordo com a figura (classificação aprendizagem de máquina) nós temos as regras de associação, agrupamento, detecção de desvios, padrões sequenciais e sumarização.

Funcionamento da Abordagem Supervisionada?
A abordagem de aprendizagem de máquina supervisionada está estruturada em etapas que no final do processo é criado o modelo de aprendizagem. a figura 2 mostra como é o funcionamento da abordagem de aprendizagem supervisionada.

Figura 2: Fases da abordagem supervisionada.

Vamos supor por exemplo as imagens do Homer e Bart. Temos imagens desses dois personagens e o objetivo é passar uma nova imagem para o sistema e o mesmo terá que classificar automaticamente o personagem da imagem (Homer ou Bart). 

Para isso precisamos passar por uma séries de processos: primeiro é preciso fazer a extração de características de cada personagem, por exemplo, quais são as características únicas do Homer e as características únicas do Bart. Depois da extração de características que nada mais é do que a montagem da base de dados é aplicada a um algoritmo de aprendizado de máquina. Mas antes desta etapa é necessário que os dados passem pelo o supervisor (uma pessoa que vai dizer a que classe pertence cada imagem).

Por exemplo, temos cinco imagens: depois que foram feitos as extrações das características o supervisor classifica a primeira imagem como Homer.

A segunda como Homer

A terceira como Bart




Na base de dados preciso identificar cada imagem de acordo com suas características. E esse é papel do supervisor, rotular cada cada registro de acordo com as classes. Após essas etapas temos o "modelo aprendido" que é o conhecimento aprendido pelo algoritmo.

A segunda fase do processo (figura 2) de aprendizagem supervisionada temos uma imagem que não sabemos que classe pertence, é feita a extração de características e logo em seguida é enviada para o modelo aprendido. O mesmo fará vários cálculos e irá dizer se a imagem é do personagem Homer ou do Bart.
E dessa maneira que funcionar esse processo de aprendizagem supervisionada. Quer se aprofundar mais no assunto? Então clique na imagem logo baixo

Gostou deste e de outros artigos, então Assine o [Descoberta de Conhecimento] por Email.

Inteligência Artificial e o Mercado


A inteligência artificial é uma área do estado da arte que envolve diversas subáreas, e uma delas é a aprendizagem de máquina, que possibilita muitas aplicabilidades práticas.
Devido ao aumento dos sistemas de informações, atualmente os ambientes comerciais possuem algum tipo de software de controle integrado à bases de dados que guardam infinidades de informações em arquivos de texto, planilhas eletrônicas e banco de dados. Dessa forma, é possível obter conhecimento muito valioso através das aplicações práticas da Data Mining e assim decisões estratégicas podem ser tomadas pelas empresas de acordo com as tendências do mercado.


E o mais legal é que, trabalhar com aprendizagem de máquina pode ser muito mais fácil, rápido e lucrativo, pois lidamos apenas com uma parte no processo de desenvolvimento que é o de análise de dados. Logo, trabalhar com análise de dados não envolve muitas etapas, pois pegamos uma base de dados já existente, aplicamos os algoritmos e vendemos para o cliente somente o conhecimento que fará a diferença na empresa.

Com essa nova perspectiva onde os dados históricos podem representar conhecimento muito valioso, o mercado está em de busca de profissionais especializados que tenham conhecimento em inteligência artificial e aprendizado de máquina. Hoje em dia, há uma grande falta de profissionais com conhecimento nessa área e demanda por especialização está a cada dia crescendo.

Falta de Profissionais?
Como dito anteriormente, é uma área em expansão no Brasil e que a falta de pessoas especializadas não indica inexistência de pesquisa e vagas de trabalho, na realidade existem inúmeras! O principal problema é que a maior parte dessas pesquisas acontecem dentro de universidades e geralmente em programas de mestrado e doutorado, e o que ocorre é que o conhecimento acaba ficando limitado a quem está neste ambiente. Ou então, essas pesquisas são publicadas em mídias internacionais e dificilmente são encontradas por aqui. Outra dificuldade é que há poucas publicações de livros sobre aprendizado de máquina diminuindo o leque de entendimento e explicações. Além disso, o material que mostre um passo a passo de como aplicar aprendizagem de máquina na prática é difícil e complexo.

Então por que Aprender Isso?
Eu reforço e incentivo a estudarem áreas relacionadas a inteligência artificial por dois motivos já citados nos capítulos acima: primeiro; falta de profissionais e tendências fortes de crescimento de mercado e o segundo é que trabalhar com aprendizagem de máquina e/ou mineração de dados pode ser muito mais fácil, rápido e algumas vezes até mais lucrativo do que desenvolver sistemas. O desenvolvedor/programador por integrar funções de aprendizado de máquina no sistema já existente. Com isso, seu software terá um valor muito maior e consequentemente poderá cobrar mais por isso.


Outra ideia é que módulos de inteligência artificial podem ser acrescentados nos softwares como pacotes opcionais, podendo ser vendidos/alugados separadamente. A vantagem disso tudo é que existem várias bibliotecas de inteligência artificial já prontas, gratuitas e para uma gama muito grande de linguagens de programação, ou seja, o processo mais complexo de entendimento e programação de novos algoritmos não é necessária, pois tudo já está desenvolvido e acessível! (alguns exemplos são o Weka, RapidMiner e Intelligence Lab).

É Preciso ser Desenvolvedor? Pois não gosto de Programar!
Não há problema, pois não são necessários conhecimentos avançados de programação para você se tornar um especialista em Inteligência Artificial! Tudo isso que falei vale também para profissionais de TI que não são programadores ou que não gostam muito de programação!


Estou Terminando minha Graduação, Mas são Tantas Áreas e não sei qual delas Seguir!
Essas afirmações são muito comuns para quem está na área de tecnologia e por isso lhe faço o convite: O que acha de começar uma carreira em Inteligência Artificial? Que tal ser um profissional único no mercado de trabalho? E além de tudo, não seria melhor trabalhar em uma área na qual existem pouquíssimos profissionais, e consequentemente menos concorrência? Você também pode ser empresário da área e vender soluções de IA para as empresas!


Gostou deste e de outros artigos, então Assine o [Descoberta de Conhecimento] por Email.

Text Mining - preparação dos dados

Antes que o conhecimento seja extraído, é necessário que a qualidade do texto seja melhorada, uma vez que, os textos podem conter carac...