Introducción..........................................................................................................17 1 Big data........................................................................................................23 1.1 Información.......................................................................................................................................................23 1.2 Qué es big data................................................................................................................................................24 1.3 Otros conceptos de big data........................................................................................................................25 1.4 Generación de datos en Internet en tiempo real...................................................................................25 1.5 Tipos de datos..................................................................................................................................................26 1.6 Fuentes del big data.......................................................................................................................................27 1.7 Las V en big data.............................................................................................................................................27 1.8 Las V a lo largo del tiempo...........................................................................................................................29 1.9 Aplicaciones del big data en general.........................................................................................................29 1.10 Patrones de arquitectura de software...................................................................................................30 1.10.1 Algunas afirmaciones importantes............................................................................................................ 30 1.10.2 Conclusiones..................................................................................................................................................... 30 1.11 Tipos de aplicaciones..................................................................................................................................30 1.11.1 Aplicaciones monolíticas............................................................................................................................... 30 1.11.2 Aplicaciones cliente-servidor....................................................................................................................... 31 1.11.3 Aplicaciones web............................................................................................................................................. 31 1.11.4 Aplicaciones peer-to-peer............................................................................................................................ 32 1.11.5 Aplicaciones de data compartida................................................................................................................ 33 1.11.6 Aplicaciones MapReduce ............................................................................................................................. 34 1.11.7 Aplicaciones heterogéneas........................................................................................................................... 34 1.12 Aplicaciones del big data en el Perú y el mundo ................................................................................35 1.13 Seguridad y big data....................................................................................................................................37 1.13.1 Retos de seguridad en el big data..............................................................................................................38 1.13.2 Medidas de seguridad básicas ....................................................................................................................38 1.13.3 Uso del big data en la ciberseguridad........................................................................................................39 1.14 Hadoop............................................................................................................................................................40 1.14.1 Características básicas..................................................................................................................................40 1.14.2 ¿Por qué Hadoop?...........................................................................................................................................41 1.14.3 ¿Cómo surge Hadoop?...................................................................................................................................41 1.14.4 Historia de Hadoop ........................................................................................................................................41 1.15 ¿Qué atributos tiene Hadoop?..................................................................................................................42 1.15.1 HDFS...................................................................................................................................................................42 1.15.2 YARN...................................................................................................................................................................47 1.15.3 MapReduce .....................................................................................................................................................48 2 Introducción al análisis de datos............................................................49 2.1 SciPy...................................................................................................................................................................49 2.1.1 Creando arreglos................................................................................................................................................49 2.1.2 Operaciones básicas.........................................................................................................................................52 2.1.3 Arreglos.................................................................................................................................................................52 2.1.4 Barras, histogramas y gráficos......................................................................................................................54 2.1.5 Diagrama de dispersión...................................................................................................................................58 2.1.6 Gráficos circulares..............................................................................................................................................59 3 Pandas.........................................................................................................63 3.1 Pandas y NumPy.............................................................................................................................................63 3.2 Primer ejemplo................................................................................................................................................64 3.3 Segundo ejemplo ...........................................................................................................................................66 3.4 Análisis del bitcoin..........................................................................................................................................69 3.5 Análisis coronavirus 1....................................................................................................................................75 3.6 Análisis coronavirus 2....................................................................................................................................77 4 Procesamiento de lenguaje natural.......................................................87 4.1 NLP......................................................................................................................................................................87 4.1.1 NLP, NLU y NLG...................................................................................................................................................88 4.1.2 Evolución del NLP..............................................................................................................................................88 4.1.3 Aplicaciones del NLP.........................................................................................................................................89 4.1.4 Problemas de ambigüedades.........................................................................................................................89 4.1.5 Instalando TextBlob y NLTK en Anaconda..................................................................................................90 4.1.6 Tokenización........................................................................................................................................................92 4.1.7 Lematización.......................................................................................................................................................93 4.1.8 Stop words...........................................................................................................................................................94 4.1.9 ¿Cuándo se deben eliminar las stop words?..............................................................................................94 4.1.10 Algunos puntos que tener en cuenta........................................................................................................95 4.1.11 Ejemplo de análisis de texto.........................................................................................................................95 4.1.12 Ejemplo de traducción de texto...................................................................................................................100 4.1.13 Ejemplo de análisis de sentimiento...........................................................................................................103 4.1.14 Stanza.................................................................................................................................................................106 4.1.15 Modelos ocultos de Markov para etiquetar texto..................................................................................109 4.1.16 Modelos markovianos de máxima entropía............................................................................................112 5 Robótica.......................................................................................................117 5.1 Historia de la robótica....................................................................................................................................117 5.2 ¿Qué es un robot?...........................................................................................................................................121 5.3 Tipos de robot..................................................................................................................................................121 5.3.1 Manipuladores....................................................................................................................................................121 5.3.2 Móviles..................................................................................................................................................................122 5.4 Arduino...............................................................................................................................................................123 5.5 ¿Cómo funciona Arduino, el cerebro digital? ..........................................................................................124 5.6 Entradas y salidas del Arduino ...................................................................................................................124 5.7 Diferentes placas de Arduino......................................................................................................................125 5.8 Alimentación de energía al Arduino...........................................................................................................126 5.9 Chip ATmega328.............................................................................................................................................127 5.10 Tipos de chip ATmega328..........................................................................................................................127 5.11 Descargando el intérprete de Arduino...................................................................................................128 5.12 Primeros pasos.............................................................................................................................................129 5.13 Constantes.....................................................................................................................................................129 5.13.1 Definiendo el nivel del pin: HIGH y LOW...................................................................................................129 5.13.2 Definiendo el modo de los pines digitales: INPUT, INPUT_PULLUP y OUTPUT...........................130 5.14 Lectura y escritura de señales digitales.................................................................................................131 5.15 Lectura y escritura de señales analógicas (analogRead) .................................................................132 5.16 Lectura y escritura de señales analógicas (analogWrite).................................................................133 5.17 Utilizar Python en Arduino.........................................................................................................................134 5.17.1 PySerial...............................................................................................................................................................134 5.17.2 Firmata...............................................................................................................................................................135 5.17.3 pyFirmata...........................................................................................................................................................135 5.17.4 Arduino-Python...............................................................................................................................................136 6 Inteligencia artificial Data Science.........................................................137 6.1 Machine learning ...........................................................................................................................................137 6.1.1 Librerías utilizadas.............................................................................................................................................137 6.1.2 Algoritmos de machine learning ...................................................................................................................140 6.1.3 Aprendizaje supervisado.................................................................................................................................144 6.1.4 Caso Iris................................................................................................................................................................145 6.1.5 Clasificación y regresión..................................................................................................................................149 6.1.6 Máquina de soporte vectorial.........................................................................................................................155 6.1.7 TensorFlow...........................................................................................................................................................162 6.1.8 Aprendizaje no supervisado...........................................................................................................................174 6.1.9 Aprendizaje por refuerzo.................................................................................................................................180 6.1.10 Aprendizaje evolutivo.....................................................................................................................................180 6.2 Deep learning ..................................................................................................................................................180 6.2.1 Historia de deep learning.................................................................................................................................180 6.2.2 Redes neuronales artificiales.........................................................................................................................181 6.2.3 Aplicaciones de redes neuronales.................................................................................................................182 6.2.4 Perceptrón...........................................................................................................................................................182 6.2.5 Tipos de arquitecturas de deep learning.....................................................................................................184 6.2.6 Implementación del primer modelo.............................................................................................................185 6.2.7 Implementación del segundo modelo.........................................................................................................190 6.2.8 Implementación del tercer modelo...............................................................................................................196 7 Web scraping..............................................................................................205 7.1 Web scraping....................................................................................................................................................205 7.2 Obteniendo el contenido de una página web.........................................................................................205 7.3 Obteniendo una imagen de una web.........................................................................................................208 7.4 Obteniendo páginas.......................................................................................................................................211 7.5 Obteniendo caracteres..................................................................................................................................212 8 Procesamiento de imágenes...................................................................213 8.1 OpenCV..............................................................................................................................................................213 8.2 Funciones importantes.................................................................................................................................214 8.2.1 imread.....................................................................................................................................................................214 8.2.2 imshow...................................................................................................................................................................214 8.3 Leer imágenes.................................................................................................................................................215 8.4 Escribir imágenes............................................................................................................................................215 8.5 Cambiando el formato de una imagen.....................................................................................................216 8.6 Modelo de color YUV......................................................................................................................................216 8.7 Modelo de color YUV (división de colores)...............................................................................................217 8.8 Traslación de imágenes.................................................................................................................................219 8.9 Rotación de imágenes...................................................................................................................................221 8.10 Utilizando la cámara....................................................................................................................................222 8.11 Histograma de imagen...............................................................................................................................223 8.12 Ecualización de histogramas....................................................................................................................226 8.13 Convolución de imágenes..........................................................................................................................228 8.14 Detección de rostros usando Haar Cascades......................................................................................229 8.15 Detección de Haar-Cascade en OpenCV ...............................................................................................231 9 Criptografía.................................................................................................235 9.1 Criptografía ......................................................................................................................................................235 9.2 Cronología de la criptología .........................................................................................................................235 9.3 Cifrado Julio César ..........................................................................................................................................240 9.4 Algoritmos disponibles..................................................................................................................................241 9.4.1 MD5........................................................................................................................................................................242 9.4.2 SHA1......................................................................................................................................................................243 9.4.3 SHA512.................................................................................................................................................................243 9.4.4 Diferentes algoritmos.......................................................................................................................................244 9.5 Cifrado homomórfico.....................................................................................................................................250 9.5.1 Lista archivos.......................................................................................................................................................251 9.5.2 Plataforma (platform).......................................................................................................................................252 9.5.3 Socket....................................................................................................................................................................252 9.5.4 Obtener la dirección IP .....................................................................................................................................255 9.5.5 Listar direcciones IP .........................................................................................................................................255 9.5.6 Búsqueda e indexación.....................................................................................................................................258 9.5.7 Recolección de información............................................................................................................................261 10 Deep web y redes Tor................................................................................265 10.1 Redes Tor........................................................................................................................................................265 10.2 Utilidad de las redes Tor.............................................................................................................................266 10.3 Deep Web.......................................................................................................................................................269 10.4 Mantenerse anónimo..................................................................................................................................270 10.5 El futuro de Tor..............................................................................................................................................270 10.6 Tor Browser....................................................................................................................................................271 10.6.1 Instalación ........................................................................................................................................................271 10.6.2 Uso.......................................................................................................................................................................273 10.6.3 Recomendaciones de uso de la red Tor....................................................................................................275 10.6.4 Comprobación de la privacidad....................................................................................................................276 10.7 Control de una instancia local Tor............................................................................................................277 10.8 Información de repetidores disponibles................................................................................................277 10.9 Información de autoridades de directorio.............................................................................................279 11 Tails...............................................................................................................281 11.1 Tails...................................................................................................................................................................281 11.2 Requerimientos............................................................................................................................................281 11.3 Aplicación de anonimato............................................................................................................................281 11.4 Usuario base..................................................................................................................................................282 11.5 Méritos técnicos y reconocimiento.........................................................................................................282 11.6 Relación entre Tor y Tails............................................................................................................................282 11.7 Confiabilidad de Tails...................................................................................................................................282 11.8 Software libre y escrutinio público..........................................................................................................283 11.9 Confiando en Debian GNU/Linux.............................................................................................................283 11.10 Confiando en Tor .......................................................................................................................................283 11.11 Confiando en Tails......................................................................................................................................284 11.12 Instalación de Tails ...................................................................................................................................284 11.13 ¿Qué es el spoofing de direcciones MAC?..........................................................................................289 11.14 Circuitos Onion ..........................................................................................................................................291 11.15 Listado de códigos de países..................................................................................................................293 11.16 Observando los Onion Circuits...............................................................................................................294 11.17 Anonimización en el mundo...................................................................................................................297 11.18 Posibilidad de romper TOR.....................................................................................................................297 11.19 Mejores buscadores en Tor.....................................................................................................................297 11.19.1 DuckDuckGo...................................................................................................................................................297 11.19.2 Wayback Machine.........................................................................................................................................298 11.19.3 SurfWax.............................................................................................................................................................298 11.19.4 Torch.................................................................................................................................................................299 11.20 Tráfico de la red Tor...................................................................................................................................299 11.21 Electrum Bitcoin Wallet...........................................................................................................................300 12 Blockchain...................................................................................................305 12.1 Blockchain......................................................................................................................................................305 12.2 Evolución de blockchain.............................................................................................................................306 12.3 Arquitectura de blockchain........................................................................................................................307 12.4 Características de blockchain...................................................................................................................308 12.5 Tipos de blockchain......................................................................................................................................308 12.5.1 Blockchain pública...........................................................................................................................................309 12.5.2 Blockchain privada..........................................................................................................................................309 12.5.3 Consorcio o blockchain federada................................................................................................................310 12.5.4 Blockchain as a Service (BaaS)....................................................................................................................311 12.6 Componentes de blockchain.....................................................................................................................311 12.7 Aplicaciones de blockchain........................................................................................................................311 12.7.1 Seguridad de la información.........................................................................................................................311 12.7.2 Prueba concluyente de autoría o conocimiento (texto, audio o vídeo)............................................312 12.7.3 Fin de los notarios...........................................................................................................................................312 12.7.4 Títulos y certificados.......................................................................................................................................312 12.7.5 Firma digital e identidad................................................................................................................................312 12.7.6 Transparencia gubernamental.....................................................................................................................312 12.7.7 Mercado de capitales.....................................................................................................................................312 12.7.8 Compras y licitaciones...................................................................................................................................313 12.7.9 Trámite y sellado digital.................................................................................................................................313 12.8 Tecnología del Libro Mayor........................................................................................................................313 12.9 Criptomonedas..............................................................................................................................................313 12.9.1 Historia...............................................................................................................................................................314 12.9.2 Características del valor de las criptomonedas .....................................................................................314 12.9.3 Satoshi Nakamoto, creador de bitcoin......................................................................................................316 12.9.4 El crecimiento de bitcoin...............................................................................................................................316 12.10 Construcción de una cadena de bloques ...........................................................................................317 12.11 Futuro de blockchain.................................................................................................................................319 Anexo......................................................................................................................321 1 Instalación de Python en Windows...............................................................................................................321 2 Entornos de trabajo...........................................................................................................................................325 2.1 Anaconda.................................................................................................................................................................325 2.2 Jupyter......................................................................................................................................................................325Descubra cómo el análisis de datos le puede llevar al éxito en cualquier ámbito empresarial y en los medios de comunicación En el mundo actual, el análisis de datos es fundamental para tomar decisiones, trazar objetivos e identificar oportunidades en cualquier sector. Este libro emerge como una herramienta esencial, accesible tanto para principiantes como para profesionales, con la que podrá adentrarse en el emocionante universo de la ciencia de datos con resultados satisfactorios. Análisis de datos con Python 3 despliega el poder del lenguaje de programación Python con un enfoque práctico y didáctico. Gracias a esta lectura, conocerá conceptos y herramientas fundamentales como Big Data, SciPy y Pandas. Pero eso no es todo: también explorará territorios como el procesamiento de lenguaje natural, la robótica, el machine learning y el web scraping, entre otros. Asimismo, adquirirá una comprensión completa de los conceptos y técnicas que están modelando el futuro digital. Este libro aborda los conceptos básicos sobre criptografía, la red Tor, Tails y la tecnología empleada en el desarrollo de las criptomonedas. Diseñado para estudiantes y profesionales de la informática, programadores y cualquier persona con interés en el análisis de datos, es una lectura obligatoria para quien busque comprender y dominar las herramientas que definen la era digital actual. No se quede atrás: aproveche la información precisa y los ejercicios prácticos del libro para estar al corriente de las ventajas que le ofrece la ciencia moderna. CONTENIDO ' Big Data ' Introducción al análisis de datos ' Pandas ' Procesamiento de lenguaje natural ' Robótica ' Inteligencia artificial Data Science ' Web scraping ' Procesamiento de imágenes ' Criptografía ' Deep web y redes Tor ' Tails ' BlockchainDescubra cómo el análisis de datos le puede llevar al éxito en cualquier ámbito empresarial y en los medios de comunicación En el mundo actual, el análisis de datos es fundamental para tomar decisiones, trazar objetivos e identificar oportunidades en cualquier sector. Este libro emerge como una herramienta esencial, accesible tanto para principiantes como para profesionales, con la que podrá adentrarse en el emocionante universo de la ciencia de datos con resultados satisfactorios. Análisis de datos con Python 3 despliega el poder del lenguaje de programación Python con un enfoque práctico y didáctico. Gracias a esta lectura, conocerá conceptos y herramientas fundamentales como Big Data, SciPy y Pandas. Pero eso no es todo: también explorará territorios como el procesamiento de lenguaje natural, la robótica, el machine learning y el web scraping, entre otros. Asimismo, adquirirá una comprensión completa de los conceptos y técnicas que están modelando el futuro digital. Este libro aborda los conceptos básicos sobre criptografía, la red Tor, Tails y la tecnología empleada en el desarrollo de las criptomonedas. Diseñado para estudiantes y profesionales de la informática, programadores y cualquier persona con interés en el análisis de datos, es una lectura obligatoria para quien busque comprender y dominar las herramientas que definen la era digital actual. No se quede atrás: aproveche la información precisa y los ejercicios prácticos del libro para estar al corriente de las ventajas que le ofrece la ciencia moderna. CONTENIDO ' Big Data ' Introducción al análisis de datos ' Pandas ' Procesamiento de lenguaje natural ' Robótica ' Inteligencia artificial Data Science ' Web scraping ' Procesamiento de imágenes ' Criptografía ' Deep web y redes Tor ' Tails ' Blockchain