Que significa big data

Que significa big data

Comentarios

Big data es el término utilizado para describir los enormes conjuntos de datos que han crecido más allá de la capacidad de la mayoría del software para capturar, gestionar y procesar la información.    Pero el volumen no es la única forma de definir los big data. Las tres V que se suelen utilizar para describir los big data también incluyen los múltiples tipos -y fuentes- de datos (variedad), así como la velocidad (rapidez) a la que se producen los datos.
Si necesita más perspectiva, piense en esto por un segundo: según IBM, el 90 por ciento de los datos del mundo actual se han creado en los últimos dos años. Esto equivale a 2,5 quintillones de bytes de datos creados cada día.
Pero los grandes datos no consisten realmente en utilizar más recursos, sino en utilizar eficazmente los que se tienen. Tomemos esta analogía de Christopher Frank, de Forbes, que compara los grandes datos con la película Moneyball: “Si ha leído Moneyball, o ha visto la película, ha sido testigo del poder de los big data: es la historia sobre la capacidad de competir y ganar con pocos recursos y dólares limitados. Esto resume las esperanzas y los retos de las empresas de hoy en día”.

Los grandes datos

Aunque el uso generalizado del término procesamiento de datos data sólo de los años cincuenta,[3] las funciones de procesamiento de datos se han realizado manualmente durante milenios. Por ejemplo, la contabilidad implica funciones como la contabilización de transacciones y la elaboración de informes como el balance y el estado de flujo de caja. Los métodos completamente manuales se vieron incrementados por la aplicación de calculadoras mecánicas o electrónicas. Una persona cuyo trabajo consistía en realizar cálculos manualmente o con una calculadora se denominaba “ordenador”.
El programa del Censo de los Estados Unidos de 1890 fue el primero en recoger datos por individuos en lugar de por hogares. Se podía responder a varias preguntas marcando la casilla correspondiente en el formulario. Desde 1850 hasta 1880, la Oficina del Censo empleó “un sistema de recuento que, debido al creciente número de combinaciones de clasificaciones necesarias, se hizo cada vez más complejo. Sólo un número limitado de combinaciones podía registrarse en un recuento, por lo que era necesario manejar las listas 5 o 6 veces, para otros tantos recuentos independientes”[4] “Se tardó más de 7 años en publicar los resultados del censo de 1880″[5] utilizando métodos de procesamiento manual.

Apache kafka

Los autores escriben que los big data son mucho más potentes que los análisis del pasado. Los directivos pueden medir y, por tanto, gestionar con más precisión que nunca. Pueden hacer mejores predicciones y tomar decisiones más inteligentes. Pueden dirigir intervenciones más eficaces en áreas que hasta ahora han estado dominadas por el instinto y la intuición en lugar de por los datos y el rigor. Las diferencias entre el big data y la analítica son una cuestión de volumen, velocidad y variedad: Ahora cruzan por Internet más datos cada segundo que los que se almacenaban en todo Internet hace 20 años. La información casi en tiempo real permite a una empresa ser mucho más ágil que sus competidores. Y esa información puede proceder de redes sociales, imágenes, sensores, la web u otras fuentes no estructuradas.
Sin embargo, los retos de gestión son muy reales. Los responsables de la toma de decisiones de alto nivel tienen que aprender a hacer las preguntas correctas y adoptar una toma de decisiones basada en pruebas. Las organizaciones deben contratar a científicos que puedan encontrar patrones en conjuntos de datos muy grandes y traducirlos en información empresarial útil. Los departamentos de TI tienen que trabajar duro para integrar todas las fuentes de datos internas y externas relevantes.

Rapidminer

Big data es un término que describe los grandes volúmenes de datos difíciles de gestionar -tanto estructurados como no estructurados- que inundan las empresas en su día a día. Pero lo importante no es la cantidad de datos. Lo que importa es lo que las organizaciones hacen con los datos. Los big data pueden analizarse para obtener información que permita tomar mejores decisiones y realizar movimientos empresariales estratégicos.
El término “big data” se refiere a los datos que son tan grandes, rápidos o complejos que son difíciles o imposibles de procesar con los métodos tradicionales. El acto de acceder y almacenar grandes cantidades de información para su análisis existe desde hace mucho tiempo. Pero el concepto de big data cobró impulso a principios de la década de 2000, cuando el analista de la industria Doug Laney articuló la definición de big data, que ahora es la más extendida, como las tres V:
Volumen: Las organizaciones recopilan datos de diversas fuentes, como transacciones comerciales, dispositivos inteligentes (IoT), equipos industriales, vídeos, redes sociales, etc. En el pasado, su almacenamiento habría sido un problema, pero un almacenamiento más barato en plataformas como los lagos de datos y Hadoop han aliviado la carga.