Media Móvil Cloudera

Me topé con este artículo: que menciona cómo calcular el promedio móvil usando Hadoop. Tenga en cuenta que todos los registros de una tecla deben ser ordenados y luego reducidos. Supongamos ahora que los registros de una CLAVE en particular se extienden por todos los fragmentos del cluster Mongo. En tal caso, ¿sería posible calcular el promedio móvil entiendo que Mongo hace que el mapa se reduzca en cada nodo. El principal requisito para resolver este problema es asegurarse de que todas las emisiones de un mapa se reduzcan en una única fase de reducción. Si ese es el caso, Mongo Map Reduce nunca será capaz de resolver estos problemas. ¿Hay algún malentendido básico También, con miles de millones de filas y petabytes de datos, ¿por qué es que la fase de Hadoop Reduce falla de memoria, ya que tiene que tratar con al menos varios TBs de datos mapeados. Preguntamos 16 de mayo 13 a las 7:31 ¿Puede explicar por qué Hadoop no se bloquea de memoria para tal cálculo? De mi comprensión, toda la reducción ocurrirá en un nodo, donde todos los registros de una tecla se reducirá. Esto debería dar lugar a una enorme sobrecarga de memoria en ese nodo, ya que los TB de datos deben estar presentes allí. Creo que, a diferencia de MongoDB, hadoop, al igual que SQL al procesar una unión grande, escribirá las cosas en el disco y leer sólo cuando sea necesario con El sistema operativo utilizando swap como titular de memoria temporal para ciertas cosas probablemente. MongoDB hace más en RAM antes de escribir en el disco como tal que fácilmente rescatar ndash Sammaye 16 de mayo 13 a las 8: 37Cloudera Jobs en Londres La tabla a continuación se examina las estadísticas de conocimiento y experiencia de los productos y / o servicios de Cloudera Para la región de Londres. Se incluye una guía de los salarios ofrecidos en los trabajos de TI que han citado Cloudera durante los 3 meses hasta el 21 de noviembre de 2016 con una comparación con el mismo período en los dos años anteriores. Las cifras que figuran a continuación representan el mercado de trabajo de TI en general y no son representativas de los salarios dentro de Cloudera, Inc. 3 meses al 21 de noviembre de 2016 Mismo período 2017 Cloudera Jobs Demand Trend en Londres La tendencia de la demanda de anuncios de empleo en la región de Londres citando Cloudera como un Proporción de todos los trabajos de TI con un partido en la categoría de proveedores. Cloudera Salary Trend en Londres Este gráfico proporciona el promedio móvil de 3 meses para los salarios cotizados en puestos de trabajo permanentes de TI citando Cloudera en toda la región de Londres. Cloudera Salario Histograma en Londres Este gráfico proporciona un histograma de salario para los trabajos de TI citando Cloudera en toda la región de Londres durante los 3 meses al 21 de noviembre de 2016. Cloudera Job Localizaciones en Londres La tabla a continuación se examina la demanda y proporciona una guía de los salarios medios citados En puestos de trabajo de TI citando Cloudera dentro de la región de Londres durante el período de 3 meses a 21 de noviembre de 2016. La columna Cambio de rango proporciona una indicación del cambio en la demanda dentro de cada ubicación sobre la base del mismo período de 3 meses del año pasado. (Haga clic en ver estadísticas y tendencias detalladas) Cambio de rango en el mismo período El año pasado Matching Permanent IT Job Ads Salario mediano Last 3 MonthsClouddera Engineering Blog Simple Media móvil, Secundaria Sort, y MapReduce (Parte 3) Esta es la pieza final a una parte tres Serie de blogs Si desea ver las partes anteriores de esta serie, utilice el siguiente enlace: Anteriormente le expliqué cómo utilizar Excel y R como las herramientas de análisis para calcular la media móvil simple de un pequeño conjunto de precios de cierre de acciones. En esta última pieza de la serie de blogs de tres partes, me dedicaré a usar MapReduce para encontrar la media móvil simple de nuestro pequeño conjunto de datos de muestra. Entonces, le mostraré cómo usar el mismo código, usted será capaz de calcular el promedio móvil simple de cada precio de cierre de las acciones desde 1980. Abajo el agujero de conejo con Hadoop En los ejemplos anteriores echamos un vistazo al cálculo de la media móvil simple De una cantidad relativamente pequeña de datos. Para muchos análisis, Excel y R son herramientas muy eficaces, pero a medida que avanzamos hacia los almacenes de datos gigabyte, terabyte y petabyte nos topamos con algunos problemas con la localidad de los datos, las velocidades del disco y las velocidades de procesamiento. Para ilustrar estos factores permite tomar una máquina mítica que tenía un único disco de 1 petabyte, que funcionaba de forma similar a las velocidades de disco de hoy. Para los propósitos de este ejemplo, utilice una velocidad de lectura de 40 MB / s. Digamos que es nuestro trabajo para escanear a través de estos datos y producir un promedio móvil simple, el procesador no impide el cálculo, y podemos sostener un cálculo de ventana móvil a través de los datos en los 40 MB / s. Supongamos también que los datos se ordenaron previamente y que sólo teníamos que realizar un análisis secuencial que maximiza la velocidad de transferencia de datos del disco y que podría proporcionar 40 MB / s a ​​la tubería de procesamiento. Basado en Jeff Deans 12 números que cada ingeniero debe saber slide es una configuración plausible. A este rendimiento, nuestro cálculo del promedio móvil simple de 1 petabyte de datos tardaría alrededor de 310 días en completarse. Para la mayoría de las situaciones este costo operacional, en términos de tiempo, hace que no sea razonable considerar. Afortunadamente, la mecánica de HDFS y MapReduce mitigar estos factores de tal manera que podemos hacer de este problema un tiempo lineal y la función de capital para ayudarnos a decidir el número de máquinas que queremos implementar para llevar a cabo eficientemente esta exploración simple media móvil. En el ejemplo de la media móvil simple anterior, hemos omitido considerar las restricciones de: Almacenamiento del petabyte de datos sobre hardware no mítico. Ordenar el petabyte de datos. Teniendo en cuenta fallos de hardware durante los 310 días de tiempo de procesamiento. Normalmente, las aplicaciones de series temporales necesitan escanear los datos en algún momento, lo cual crea grandes montañas para subir, si queremos acercarnos a grandes volúmenes de datos de series temporales en sistemas actuales. Estaban viendo multi-terabyte y multi-petabyte fuentes de datos en el dominio de la serie del tiempo cada día, incluyendo y en cada uno de estos dominios el escenario antedicho es un desafío muy verdadero a abordar. HDFS resuelve los problemas de almacenamiento y de error anteriores, pero ¿qué pasa con los problemas de clasificación y procesamiento? Ordenar grandes cantidades de datos en sí mismo es un problema no trivial, pero es accesible con algunos trucos en MapReduce. Echemos un vistazo al código real de MapReduce que podemos descargar para compilar y producir nuestro propio promedio móvil escalable, para resolver algunos de estos puntos de dolor. Promedio móvil simple en MapReduce Normalmente, una aplicación MapReduce se compone de dos funciones: (lo adivinaste) una función de mapa y una función de reducción. En el mundo de la programación Java creamos una clase de mapa y una clase de reducción, cada una con heredar métodos útiles para sus propósitos respetuosos. Utilizamos el modelo de programación de MapReduce porque está construido para mitigar los problemas de concurrencia en nuestros algoritmos y conseguimos nuestro paralelismo escalable relativamente sin dolor. La función de mapa puede implicar código que realiza una operación de par por valor de clave, pero su operación lógica principal es agrupar datos por claves. Una manera muy fácil de pensar en una función de mapa es pensar en ella como una proyección lógica de los datos o una cláusula por grupo. La función reduce se utiliza para tomar estos grupos (individualmente) y ejecutar un proceso a través de los valores que se agruparon. Las operaciones comunes en funciones de reducción incluyen: Sin embargo, en nuestro ejemplo de promedio móvil simple, no operamos específicamente por valor, ni producimos un agregado en todos los valores. Nuestra operación en el sentido agregado implica una ventana deslizante, que realiza sus operaciones en un subconjunto de los datos en cada paso. También tenemos que considerar que los puntos en nuestros datos de series de tiempo no están garantizados para llegar a la reducción en orden y necesitan ser clasificados en las secciones anteriores. Esto se debe a que con múltiples funciones de mapa que leen varias secciones de los datos de origen, MapReduce no impone ningún orden en los pares clave-valor que se agrupan en la partición por defecto y en los esquemas de clasificación. Existe el escenario en el que hemos ordenado los datos particionados, pero por el bien de este ejemplo se va a tratar con los datos de la serie de tiempo sin variedad de jardinería. Deja para tomar un primer paso en cómo podríamos diseñar este trabajo simple de la media móvil de MapReduce. Queremos agrupar todos los valores de cierre ajustados de existencias para poder aplicar la operación de promedio móvil simple sobre los datos de series temporales clasificadas. Queremos emitir cada par de valores clave de serie de tiempo que se teclean en un símbolo de stock para agrupar estos valores juntos. En la fase de reducción podemos ejecutar una operación, aquí el promedio móvil simple, sobre los datos. Dado que los datos más que probable no llegará al reductor en el orden ordenado bien necesidad de ordenar los datos antes de que podamos calcular el promedio móvil simple. Una forma común de ordenar los datos es cargar los datos en la memoria en una estructura de datos como un montón, de manera similar a como se hace en un programa java normal. En este caso, utilice bien la clase de cola de prioridad de Javas para ordenar nuestros datos. También debemos considerar la cantidad de memoria utilizada por los datos de la serie de tiempo entrante durante la clasificación, ya que esto es un factor limitante en cuánto datos podemos clasificar. En este diseño tenemos que cargar todos los datos de la serie de tiempo antes de que podamos comenzar a procesar y si la cantidad de datos a ordenar supera el tamaño de montón disponible tenemos un problema. Un ejemplo de esta implementación está alojado en github: Para ejecutar este código en su propio clúster Hadoop, descargue CDH de Cloudera y configure un clúster pseudo-distribuido 8211 que es un solo nodo de Hadoop. El modo Pseudo-distribuido es una gran manera de probar código con Hadoop. A continuación, descargue y compile el código del promedio móvil en un tarro. Para descargar el código directamente desde github (en el shell en MacOSX, ventana de terminal ssh en linux, o MINGW32 para win32) we8217ll utiliza el comando: Nuestro primer paso es una solución decente, pero fueron limitados por nuestro hijo de Java Virtual Machine (JVM) Tamaño de montón y estamos tomando tiempo para ordenar manualmente los datos nosotros mismos. Con algunos cambios de diseño, podemos resolver ambos problemas aprovechando algunas propiedades inherentes de MapReduce. Primero queremos ver el caso de ordenar los datos en memoria en cada reductor. Actualmente tenemos que asegurarnos de que nunca envíes más datos a un solo reductor que pueda caber en la memoria. La forma en que actualmente se puede controlar esto es dar a cada niño reductor JVM más montón y / o para una mayor partición de nuestros datos de series de tiempo en la fase de mapa. En este caso la partición de wed más por el tiempo, rompiendo nuestros datos en ventanas más pequeñas del tiempo. A diferencia de la partición adicional de los datos, otro enfoque de este problema es permitir a Hadoop clasificar los datos para nosotros en lo que se llama la fase aleatoria de MapReduce. Si los datos llegan a un reductor ya en orden ordenado, podemos reducir nuestra huella de memoria y reducir el número de bucles a través de los datos, examinando sólo las N muestras siguientes para cada cálculo de media móvil simple. Esto nos lleva al aspecto crucial de este artículo, que se llama el mecanismo de clasificación secundaria de barajaduras. La clasificación es algo que podemos permitir que Hadoop haga por nosotros y Hadoop ha demostrado ser bastante bueno en la clasificación de grandes cantidades de datos, ganando la competencia de Clasificación Gris en 2008. Al usar el mecánico de clasificación secundaria podemos resolver tanto nuestro montón y cuestiones de clasificación con bastante facilidad Y eficientemente. Para emplear el tipo secundario en nuestro código, necesitamos hacer que la clave sea un compuesto de la clave natural y el valor natural. Abajo en la figura 1 vemos un diagrama de cómo esto se vería visualmente. Figura 1: Diagrama de teclas compuestas La clave compuesta proporciona a Hadoop la información necesaria durante la reproducción aleatoria para realizar una ordenación no sólo en el símbolo de 8220stock8221, sino también en la marca de tiempo. La clase que clasifica estas claves compuestas se llama el comparador dominante o aquí 8220CompositeKeyComparator8221. El comparador clave debe ordenar por la clave compuesta, que es la combinación de la clave natural y el valor natural. Podemos ver a continuación en la Figura-2 donde una versión abstracta de clasificación secundaria se está realizando en una clave compuesta de 2 enteros. Figura 2: Clasificación de CompositeKeyComparator Teclas compuestas (las claves son números enteros). En la Figura 3, vemos un ejemplo más realista en el que hemos cambiado la Clave Compuesta para tener una cadena de símbolo de stock (K1) y una marca de tiempo (K2, mostrada como fecha, pero en el código es larga en ms). El diagrama ha ordenado los pares K / V tanto por 8220K1: símbolo de stock8221 (clave natural) y 8220K2: marca de tiempo8221 (clave secundaria). Figura 3: CompositeKeyComparator trabajando en nuestras claves compuestas. Tecla compuesta ahora representada con un símbolo de stock de cuerda (K1) y una fecha (K2). Una vez que hemos ordenado nuestros datos sobre la clave compuesta, ahora necesitamos dividir los datos para la fase de reducción. En la Figura 4, veremos cómo los datos de la Figura 3 anterior han sido particionados con el NaturalKeyPartitioner. Figura 4: Particionado por la clave natural con el NaturalKeyPartitioner. Una vez que hemos dividido nuestros datos, los reductores ahora pueden comenzar a descargar los archivos de partición y comenzar su fase de fusión. Inf Figura 5 a continuación veremos cómo el comparador de agrupación, o NaturalKeyGroupingComparator, se utiliza para asegurarse de que una llamada reduce () sólo ve los datos agrupados lógicamente significados para esa clave compuesta. Figura 5: Agrupación Comparador fusionando archivos de partición. El comparador y el comparador de agrupación para la clave compuesta deben considerar sólo la clave natural para particionar y agrupar. A continuación se muestra una breve descripción del código Simple Moving Average que se modifica para utilizar el ordenamiento secundario y está alojado en github. Si se nota, los nombres de las clases coinciden con la terminología utilizada en los diagramas anteriores y en Tom Whites Hadoop: The Definitive Guide (capítulo 8 MapReduce) para facilitar la comprensión del código. NaturalKey 8211 lo que normalmente utilizaría como clave o grupo por el operador. En este caso, la clave natural es el símbolo de grupo o de acciones, ya que es necesario agrupar datos de existencias potencialmente no clasificados antes de poder ordenarlos y calcular la media móvil simple. Clave compuesta 8211 Una clave que es una combinación de la clave natural y el valor natural que queremos ordenar. 5 respuestas sobre ldquo Simple Moving Average, Secondary Sort y MapReduce (Parte 3) rdquo Cool truco con el clasificador / divisor de división. Por lo que puedo decir esto funciona muy bien hasta que la serie se vuelve extremadamente larga (creo que 30 años de datos de nivel de tick) 8211 parece que partición por el tiempo podría ser muy complicado. ¿Sabes de algo incorporado en hadoop como un particionador 8222 sobrecargado que puede escupir los mismos datos a múltiples particiones que he experimentado con mapeadores que duplican valores a través de múltiples claves, pero me pregunto si hay una forma más convencional de hacer esto. Evan, Estás muerta con el tamaño de los datos en un solo espacio de teclado. Me golpeó este mismo problema cuando se trabaja en el proyecto openPDC para el NERC: Un sensor podría tener literalmente miles de millones de puntos en un tiempo muy corto, por lo que para prototipos de puestos de trabajo que las cosas clave a un solo día (3.600.000ms): Versión compleja que habría utilizado la superposición de las franjas horarias por lo que el mapeador obtendría suficientes datos de los espacios de teclas adyacentes para cubrir una sola longitud de la ventana. Por ahora I8217d dice que está en el camino correcto con los valores duplicados. Sé que esto no está relacionado con los promedios móviles, pero qué tan precisa era la serie de tiempo SAX que coincide con la utilizada en PDC, implementé algo como esto (excepto usando la API MapReduce 2) y en el bucle de la función reduce (). Next () método se llama en el Iterator, obtenemos un nuevo valor, pero la clave también milagrosamente cambia. Por el contrario, la parte de la clave compuesta que no se utilizó como una clave natural (la marca de tiempo en este ejemplo) cambia. Esto fue bastante sorprendente. ¿Cómo sucede esto? Navegación de mensajes Adoptando Apache Hadoop en el Gobierno Federal