Mover Média Faísca

A média móvel é um problema complicado para Spark, e qualquer sistema distribuído. Quando os dados estão espalhados por várias máquinas, haverá janelas de tempo que cruzam partições. Temos que duplicar os dados no início das partições, para que o cálculo da média móvel por partição dê uma cobertura completa. Aqui está uma maneira de fazer isso na Spark. Os dados de exemplo: um particionador simples que coloca cada linha na partição que especificamos pela chave: Crie os dados com a primeira janela - 1 linha copiada para a partição anterior: basta calcular a média móvel em cada partição: devido aos segmentos duplicados Isso não terá lacunas na cobertura. Eu tenho dados de transmissão em tempo real que entram em faísca e eu gostaria de fazer uma previsão média móvel nesses dados da série de tempo. Existe alguma maneira de implementar isso usando uma faísca em Java Ive já mencionada. Gist. github samklr 27411098f04fc46dcd05 revisões e Apache Spark Moving Average, mas ambos esses códigos estão escritos em Scala. Como não estou familiarizado com Scala, não consigo julgar se eu acho útil ou até mesmo converter o código para Java. Existe alguma implementação direta de previsão em Spark Java, pedida 12 de agosto 15 às 12:44