Tranferindo dados do Azure Data Factory com a API REST do Application Insights

O Azure Data Factory pode ser usado para extrair dados do Application Insights através de um agendamento. Entenda como executar uma consulta para a transferência dos dados.

Criando serviço vinculado com API Rest do Application Insights

1 – Portal do Azure:

Abra o Application Insights;
Abra Acesso da API;
Copie o app-id /(ID do aplicativo), ela vai na URL – https://api.applicationinsights.io/v1/apps/;
Clicar para gerar uma chave de API, ela vai no header como x-api-key.

2 – Data Factory studio

Comece criando uma API REST:

1 – Databases >> novo conjunto de dados >> REST

URL – https://api.applicationinsights.io/v1/apps/ – completar ID do Application Insights;
Autenticação – anônimo;
Cabeçalho de autenticação – Nome = X-API-KEY / Valor = chave de API gerada no Application Insights;

Defina para qual fonte os dados serão copiados exemplo: BANCO DE DADOS SQL AZURE.

3- Data Factory studio

Crie um novo conjunto de Banco de dados SQL

Databases >> novo conjunto de dados >> Banco de dados SQL do AZURE.

Após a criação do novo conjunto de dados, selecione a REST criada no campo serviço vinculado , e a tabela do banco para onde os serão transferidos. Em esquema importe o esquema do banco de dados.

4 – Data Factory studio

Configurando a fonte – especifica a consulta no coletor da tarefa

Crie um Pipeline >> mover e transformar >> copiar dados.

Observe que o campo de consulta deve ser uma única linha sem quebras de linha, o que pode ser incômodo para consultas mais longas.

O campo de intervalo de tempo pode aceitar a seguinte combinação de datas e intervalos de tempo ISO 8601:

O período de tempo antes de agora (por exemplo, P2D nos últimos 2 dias)
Um horário de início e término, por exemplo, 2016-03-01T13:00:00Z/20016-03-03T15:30:00Z
Uma hora de início um período de tempo, por exemplo, 2016-03-01/P1D que especifica o intervalo de tempo que cobre o dia inteiro.
O cabeçalho “content-type” deve ser definido como “ application/json; conjunto de caracteres = utf-8 “

SINK – defina o conjunto de dados que foi criado exemplo:

Mapeamento:

Importe o esquema >> ative o editor avançado >> novo mapeamento >> e busque pelas colunas de destino.

para este passo não é necessario alterar configuração e propriedade do usuario.

Depurar:

Em caso de falha visualize o que ocorreu no ícone apontado pela seta.