Ao calcular uma média móvel em execução, colocar a média no período de tempo médio faz sentido No exemplo anterior, calculamos a média dos três primeiros períodos de tempo e colocá-lo próximo ao período 3. Poderíamos ter colocado a média no meio da Intervalo de tempo de três períodos, ou seja, próximo ao período 2. Isso funciona bem com períodos de tempo ímpar, mas não é tão bom para mesmo períodos de tempo. Então, onde colocamos a primeira média móvel quando M 4 Tecnicamente, a Média Móvel cairá em t 2,5, 3,5. Para evitar esse problema, suavizamos as MAs usando M 2. Assim, suavizamos os valores suavizados Se nós formos uma média de um número par de termos, precisamos suavizar os valores suavizados A tabela a seguir mostra os resultados usando M 4.David, Sim, MapReduce é Para operar em uma grande quantidade de dados. E a idéia é que, em geral, o mapa e as funções de redução não devem se preocupar com quantos mapeadores ou quantos redutores existem, essa é apenas a otimização. Se você pensar cuidadosamente sobre o algoritmo que eu postei, você pode ver que não importa qual mapeador obtém que partes dos dados. Cada registro de entrada estará disponível para cada operação de redução que precisar dele. Ndash Joe K Sep 18 12 at 22:30 No melhor de minha compreensão média móvel não é muito bem mapeia para MapReduce paradigma desde seu cálculo é essencialmente deslizando janela sobre dados classificados, enquanto MR é o processamento de intervalos não intersected de dados classificados. A solução que vejo é a seguinte: a) Para implementar particionador personalizado para ser capaz de fazer duas partições diferentes em duas execuções. Em cada corrida, seus redutores obterão diferentes faixas de dados e calcularão a média móvel quando apropriado. Eu tentarei ilustrar: Na primeira execução, os dados para os redutores devem ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aqui você vai cacluate média móvel para alguns Qs. Na próxima execução seus redutores devem obter dados como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 E caclulate o resto de médias móveis. Então você precisará agregar resultados. Ideia de particionador personalizado que terá dois modos de operação - cada vez dividindo em intervalos iguais, mas com algum deslocamento. Em um pseudocódigo ele ficará assim. Partição (keySHIFT) / (MAXKEY / numOfPartitions) onde: SHIFT será retirado da configuração. MAXKEY valor máximo da chave. Eu suponho para a simplicidade que começam com zero. RecordReader, IMHO não é uma solução, uma vez que é limitado a divisão específica e não pode deslizar sobre divide limites. Outra solução seria implementar lógica personalizada de dividir dados de entrada (é parte do InputFormat). Pode ser feito para fazer 2 slides diferentes, semelhante ao particionamento. Os modelos de previsão estão divididos em dois submodelos (sobrepostos). O primeiro tipo de modelo é quando usamos dados passados (vendas) para prever o futuro (demanda). Isto é denominado análise de séries temporais que inclui médias móveis, médias móveis ponderadas, suavização exponencial única, suavização exponencial com uma tendência, análise de tendências. Regressão linear, decomposição multiplicativa e decomposição aditiva. O segundo modelo é para situações em que uma variável (demanda) é uma função de uma ou mais variáveis. Isso é chamado de regressão (múltipla). Há sobreposição entre os dois modelos em que a regressão linear simples (uma variável independente) pode ser realizada com qualquer um dos dois. Séries de tempo A entrada para análise de séries de tempo é uma série de números que representam dados durante os mais recentes n períodos de tempo. Embora o resultado principal seja sempre a previsão para o próximo período, os resultados adicionais apresentados variam de acordo com a técnica escolhida. Para cada técnica a saída inclui a seqüência de previsões que são feitas sobre os dados do passado ea previsão para o próximo período. Ao usar a análise de tendências ou a decomposição sazonal, as previsões podem ser feitas por mais de um período no futuro. As medidas de resumo incluem as medidas tradicionais de erro de viés (erro médio), erro quadrático médio, erro padrão e Desvio Médio Absoluto. Note que diferentes autores calculam o erro padrão de maneiras ligeiramente diferentes. Ou seja, o denominador na raiz quadrada é dado por n-2 por alguns autores e n-1 por outros. O DS for Windows usa n-1 no denominador (a menos que a opção de texto Render seja escolhida). A tela de dados da série de tempo Suponha que tenhamos dados como dados na tabela a seguir e desejamos prever a demanda para a semana de 14 de fevereiro (e talvez 21 de fevereiro, 28 de fevereiro). O quadro geral para a previsão de séries temporais é dado indicando o número de pontos de dados passados. O exemplo acima tem dados passados para os últimos seis períodos (semanas) e queremos prever para o próximo período - período 7 (14 de fevereiro). Método de previsão. A caixa drop-down método contém os oito métodos que foram nomeados na parte superior deste módulo. Obviamente, os resultados dependem do método de previsão escolhido. O método de previsão inicial é uma média móvel como mostrado acima. Número de períodos na média móvel, n. Para usar a média móvel ou média móvel ponderada, o número de períodos na média deve ser dado. Este é um número inteiro entre 2 eo número de períodos de tempo de dados. No exemplo acima foram escolhidos 2 períodos. Valores para variável dependente (y). Estes são os números mais importantes, pois representam os dados. Na maioria dos casos, estas serão simplesmente as vendas ou demandas passadas. Os dados iniciais podem ser vistos na tela na coluna de demanda dada por 100, 120. 120. As telas de solução são todas semelhantes, mas a saída exata depende do método escolhido. Para as técnicas de alisamento de médias móveis (ponderadas ou não ponderadas) e de suavização exponencial única há um conjunto de saída enquanto que para suavização exponencial com tendência há um display de saída ligeiramente diferente e para a regressão há outro conjunto de saída. Começamos com as médias móveis como exemplificado pela solução para o exemplo mostrado na tela abaixo. A tela que mostramos é a tela de detalhes em vez da primeira tela que contém resultados de resumo. (Mostramos a tela de resumo no final da seção onde é mais interessante) Exemplo 1 - Médias Móveis Estamos usando uma média móvel de duas semanas (n2). A saída é a seguinte. Previsões. A primeira coluna de dados de saída é o conjunto de previsões que seriam feitas ao usar a técnica. Observe que uma vez que esta é uma média móvel de duas semanas a primeira previsão não pode ser feita até a terceira semana Este valor é o 110 que aparece como a primeira entrada na coluna Forecast. O 110 é calculado como (100120) / 2. Os três números 115, 107.5 e 107.5 seguintes representam as previsões dos dados antigos eo último número na coluna, 115, é marcado como a previsão para o próximo período - período número 7. Previsão do período seguinte. Como mencionado acima, a última previsão está abaixo dos dados e é a previsão para o próximo período e está marcada como tal na tela. No exemplo é 115. Erro. Esta coluna inicia a análise de erro. A diferença entre a previsão ea demanda aparece nesta coluna. A primeira linha para ter uma entrada é a linha em que a primeira previsão ocorre. Neste exemplo, a primeira previsão ocorre em 17 de janeiro (linha 3) ea previsão foi de 110, o que significa que o erro foi 0. Na semana seguinte, a previsão era de 115, mas a demanda era apenas 105, então o erro foi -10 . (Menos 10). Valor absoluto do erro. Esta coluna contém o valor absoluto do erro e é usada para calcular o MAD ou desvio total absoluto. Observe que o -10 na coluna de erro se tornou um (simples, não assinado, positivo) 10 nesta coluna. Erro ao quadrado. Esta coluna contém o quadrado de cada erro para calcular o erro quadrático médio eo erro padrão. O 10 foi quadrado e é alistado como 100. Nós advertimos que porque nós somos números quadrados é completamente possível que os números tornar-se-ão grandes aqui e que a exposição tornar-se-á um pouco desarrumado. Totais. O total para a demanda e cada uma das três colunas de erro aparece nessa linha. Esta linha conterá as respostas para problemas em livros que dependem do Desvio Total Absoluto em vez do Desvio Médio Absoluto. Livros usando total em vez de média devem advertir os alunos sobre comparações injustas quando há números diferentes de períodos no cálculo de erro. Médias. As médias de cada um dos três erros aparecem nesta linha. O erro médio é denominado Bias e muitos livros negligenciam essa medida de erro muito útil. O erro absoluto médio é denominado MAD e aparece em quase todos os livros devido à sua facilidade computacional. O erro quadrático médio é denominado Erro de quadrado médio e é tipicamente associado com regressão / mínimos quadrados. Estes três nomes são indicados na tela como Bias, MAD e MSE abaixo de seus valores. Neste exemplo, o Bias é 1,25, o MAD é 6,25 eo MSE é 65,625. Erro padrão. Mais uma medida de erro é importante. Este é o erro padrão. Livros diferentes têm fórmulas diferentes para o erro padrão. Ou seja, alguns usam n-1 no denominador, e alguns usam n-2. Este programa usa n-1 (a menos que tenha sido iniciado com a opção Heizer ou Render). Verifique seu livro antes de verificar suas respostas. Neste exemplo, o erro padrão é 9.354. Nota: A calculadora de distribuição Normal pode ser usada para encontrar intervalos de confiança e similares para as previsões. Exemplo 2 - Médias Móveis Ponderadas Se o método da média móvel ponderada for escolhido, então duas novas colunas aparecerão na tabela de dados como mostrado acima. A coluna da extrema direita é onde os pesos devem ser colocados. Os pesos podem ser frações que somam a um como neste exemplo (.6 e .4), mas eles não têm que somar a 1. Se eles não, então eles serão redimensionados. Por exemplo, os pesos de 2 e 1 serão convertidos para 2/3 e 1/3. Neste exemplo, pesos de .6 e .4 foram usados para realizar a previsão conforme exibido no título da tela de solução. Por exemplo, a previsão para a semana 7 é .6120 .4110 116. Como antes os erros e as medidas de erro são computados. Exemplo 3 - Alisamento exponencial Alfa para suavização exponencial. Para usar a suavização exponencial deve-se digitar um valor para a constante de suavização, alfa. Esse número está entre 0 e 1. Na parte superior da tela, uma combinação de barra de rolagem / caixa de texto aparecerá, permitindo que você insira o valor para a constante de suavização, a conforme mostrado abaixo. A constante de suavização a é 0,5 neste exemplo. NOTA: Se você selecionar um 0, o software encontrará o melhor valor para a. A tela de resultados tem as mesmas colunas e aparência dos dois métodos anteriores, conforme mostrado abaixo. A Starting Forecast para suavização exponencial. Para realizar o alisamento exponencial é necessária uma previsão inicial. Quando a suavização exponencial é selecionada, a previsão do rótulo da coluna aparecerá na tela. Por baixo será uma coluna em branco. Se você quiser, você pode inserir um número nesta coluna como a previsão. Se você digitar nenhum número, então a previsão de partida é tomada como a demanda inicial. Exemplo 4 - Suavização exponencial com tendência. A suavização exponencial com tendência requer duas constantes de suavização. Uma constante de suavização, beta, para a tendência é adicionada ao modelo. Beta, para suavização exponencial. Para executar a suavização exponencial com tendência deve ser dada uma constante de alisamento (além de alfa). Se o Beta for 0, então a suavização exponencial única é executada. Se Beta for positivo, então a suavização exponencial com tendência é executada como mostrado. Tendência Inicial. Neste modelo, a tendência será definida como 0, a menos que seja inicializada. Ele deve ser definido para o mesmo período de tempo que a previsão inicial. A tela de solução para esta técnica é diferente das telas para as técnicas anteriormente descritas. Os cálculos de previsão aparecem na coluna denominada previsão não ajustada. Esses números são os mesmos do exemplo anterior (porque usamos o mesmo valor para alfa). As previsões de tendência aparecem na coluna denominada tendência. A tendência é a diferença entre as previsões duplamente suavizadas de período para período (ponderadas por beta). As previsões aparecem na coluna marcada previsão ajustada. Exemplo 5 - Análise de tendências Como mencionado anteriormente, o ecrã de solução para regressão difere dos ecrãs de solução para as outras técnicas de previsão. A saída de amostra para o mesmo problema aparece abaixo. Valores para variável independente (x). Para a regressão de séries temporais, os valores padrão de 1 a n são normalmente apropriados e não precisam ser alterados. Para regressão emparelhada, os valores reais da variável dependente precisam ser inseridos. (Ver exemplo 6). A tela é configurada para que os cálculos feitos para encontrar a inclinação eo intercepto sejam aparentes. Para encontrar esses valores é necessário calcular a soma dos x 2 ea soma dos xy. Estas duas colunas são apresentadas. Dependendo do livro, a soma dessas colunas ou a média dessas colunas, bem como as duas primeiras colunas serão usadas para gerar a linha de regressão. A linha é dada pela inclinação e a interceptação que estão listadas na parte inferior esquerda da tela. Neste exemplo, a linha que melhor se ajusta aos dados é dada por Y 104.33 1.857X, que é lida como Vendas tem uma base de 104 com um aumento de 1.857 por semana. Se os dados forem seqüenciais, a próxima previsão de período será exibida. Isto é dado inserindo um mais do que o número de períodos na linha de regressão. No exemplo inseriríamos 7 na equação acima produzindo 117,33 como mostrado na tela. O erro padrão é calculado e mostrado como com todos os outros métodos. Neste exemplo é 7.218 que é melhor do que qualquer método visto ainda. Observe também que o erro quadrático médio é exibido (43.41 neste exemplo). O viés é, naturalmente, 0, uma vez que a regressão linear é imparcial. Apresentamos a tela de resumo abaixo. Observe que o coeficiente de correlação eo coeficiente r-squared são exibidos como saída. No resumo são as previsões para os próximos vários períodos, uma vez que esta foi uma regressão em séries temporais. Exemplo 6 - Regressão - não séries temporais A regressão pode ser usada em dados que são causais. Na próxima tela apresentamos as vendas de guarda-chuvas em função do número de polegadas de chuva nos últimos quatro trimestres do ano. A interpretação da solução de tela é que a linha que melhor se adapta a esses dados é dada por vendas 49,93 27,43 número de polegadas de chuva. Exemplo 7 - Deseasonalization A tela abaixo exibe um problema com dados sazonais. Como pode ser visto no topo há 12 pontos de dados. Você deve digitar o número de estações, como 4 trimestres ou 12 meses ou 5 ou 7 dias. Além disso, você deve inserir a base para suavização. Você pode usar a média móvel centrada (que é comum) ou a média de todos os dados. A tela de solução contém várias colunas. Média Móvel Centrada. Os dados são alisados usando uma média móvel que é tão longo quanto o período de tempo - isto é, 4 estações. Como há um número par de estações, a média móvel ponderada consiste nos períodos finais e em todos os 3 períodos médios. Por exemplo, para o verão de 1994, a média ponderada é: Esta média não pode ser tomada para os primeiros n / 2 períodos e começa no período 3. Relação Demanda à Média Móvel. Para todos os pontos de dados que têm médias móveis computadas, a razão entre os dados reais e a média móvel é calculada. Por exemplo, para o verão de 1989, a proporção é 95 / 87,875 1,08108. Fatores Sazonais. Os fatores sazonais são computados como a média de todas as razões. Por exemplo, o fator sazonal de verão é a média de 1,08108 (verão de 1989) e .997167 (verão de 1990), que rende 1,03912 como mostrado tanto para o verão de 1989 quanto para o de verão de 1990. Dados suavizados. Os dados originais são divididos pelo seu fator sazonal para extrair os efeitos sazonais e calcular os dados suavizados. Decomposição aditiva. Não exibimos a saída aqui. O modelo aditivo utiliza diferenças em vez de razões para determinar os fatores sazonais que são aditivos em vez de multiplicativos. Regressão Múltipla Como observado anteriormente, o módulo de previsão pode realizar regressão múltipla. Existem duas entradas para os dados. O número de períodos de dados deve ser dado e, além disso, o número de variáveis independentes deve ser dado. Neste primeiro exemplo, estenderemos o problema de regressão no exemplo 6. Note que para a regressão simples (uma variável independente) existem duas maneiras de resolver o problema. Neste exemplo, usamos duas variáveis independentes e, portanto, deve ser usada regressão múltipla. Nós inserimos 4 para o número de períodos e 2 para o número de variáveis independentes. A entrada para regressão múltipla consistirá em pares, trigêmeos, quadrupletes, etc. dependendo do número de variáveis independentes. Preenchimos os dados ea tela da solução aparece abaixo. A entrada tem quatro colunas - uma para o nome do período de tempo, uma para a variável dependente, guarda-chuvas, uma para a variável independente, chuva e uma para a variável independente de tempo (1 a 4). A exibição de saída é um pouco diferente do que antes. Os cálculos (X2) e (XY) não são apresentados. A equação de regressão não é mostrada explicitamente nesta tela, mas pode ser encontrada observando-se os coeficientes Beta abaixo da tabela. Ou seja, a equação é vendas Umbrella 98.2381 26.5238 Chuva -11.9381time. Isso é mostrado explicitamente na tela de resumo que não exibimos.
No comments:
Post a Comment