网站首页 spark
-
Spark很全的知识点总结（spark很全的知识点总结是什么）
SparkSpark是一个快速且通用的集群计算平台。集群计算：把一台电脑无法解决的问题，放到多台电脑组成的集群上进行解决，这就是集群计算。Spark的特点1.Spark是快速的很多任务能够秒级完成，对于一些特定的工作，Spark比Mapre...
2024-11-10 xnh888 技术教程 31 ℃ 0 评论 -
大数据Hadoop之——计算引擎Spark
一、概述ApacheSpark是专为大规模数据处理而设计的快速通用的...
2024-11-10 xnh888 技术教程 59 ℃ 0 评论 -
大佬用10小时就把Spark讲完了，附6大技术文档
前言ApacheSpark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的...
2024-11-10 xnh888 技术教程 19 ℃ 0 评论 -
SPARK官方教程系列快速入门（spark基础入门）
1-概述ApacheSpark是一个用于大规模数据处理的统一分析引擎，它在Java、Scala、Python和R中的提供了高级api，以及一个支持通用执行图[generalexecutiongraphs]的优化引擎。它还支持一组丰富的...
2024-11-10 xnh888 技术教程 18 ℃ 0 评论 -
腾讯大数据专家首次分享这份Spark实战指南(PDF)
概述本书是Spark实战指南，全书共分8章。前4章介绍Spark的部署、工作机制和内核，后4章分别通过实战项目介绍SparkSQL、SparkStreaming,SparkGraphX和SparkMLlib功能模块。此外，本书详细...
2024-11-10 xnh888 技术教程 24 ℃ 0 评论 -
30分钟理解Spark的基本原理（spark的工作原理和作用）
文章发布于公号【数智物语】（ID：decision_engine），关注公号不错过每一篇干货。作者|梁云1991转载自Python与算法之美（ID:Python_Ai_Road）01Spark优势特点作为大数据计算框架MapRedu...
2024-11-10 xnh888 技术教程 40 ℃ 0 评论 -
深度预警:Spark运行原理（spark的基本运行流程）
点击关注，快速进阶高级架构师本文主要分以下章节：一、Spark专业术语定义二、Spark的任务提交机制一、Spark专业术语定义1、Application：Spark应用程序指的是用户编写的Spark应用程序，包含了Driver功能代码和...
2024-11-10 xnh888 技术教程 48 ℃ 0 评论 -
Spark整合Ray思路漫谈（spark infrastructure）
什么是Ray之前花了大概两到三天把Ray相关的论文，官网文档看了一遍，同时特意去找了一些中文资料看Ray当前在国内的发展情况（以及目前国内大部分人对Ray的认知程度）。先来简单介绍下我对Ray的认知。首先基因很重要，所以我们先需要探查下Ra...
2024-11-10 xnh888 技术教程 44 ℃ 0 评论 -
简单介绍spark（简单介绍自己）
ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce...
2024-11-10 xnh888 技术教程 20 ℃ 0 评论 -
十年大数据专家，手把手带你玩转大数据，Spark技术栈的深度解析
Spark简介Spark官网为:http://spark.apache.org/,Spark也是用于海量数据处理的计算框架.官方对Spark的定义是:ApacheSpark?isaunifiedanalyticsengi...
2024-11-10 xnh888 技术教程 55 ℃ 0 评论