MX（Mail Exchanger）记录

MX是邮件交换记录，它指向一个邮件服务器，用于电子邮件系统发邮件时根据 收信人的地址后缀来定位邮件服务器。例如，当Internet上的某用户要发一封信给 user@mydomain.com 时，该用户的邮件系统通过DNS查找mydomain.com这个域名的MX记录，如果MX记录存在， 用户计算机就将邮件发送到MX记录所指定的邮件服务器上。 MX记录也叫做邮件路由记录，用户可以将该域名下的邮件服务器指向到自己的mail server上，然后即可自行操控所有的邮箱设置 。

  spark是一个大数据的分布式的计算框架，他的工作机制核心也是分布式，所以很多地方的使用一定要先理解它的工作机制，很多问题和性能优化都和spark的工作机制紧密相关。
  这里主要介绍spark中redis的几种使用方法，通过使用方法理解spark的工作机制。

什么是序列化

  对象的序列化（Serialization）用于将对象编码成一个字节流，以及从字节流中重新构建对象。将一个对象编码成一个字节流称为序列化该对象（Serializing）；相反的处理过程称为反序列化（Deserializing）。

注册disqus

disqus官网，按要求注册一个账户，添加你的博客地址

编译

1
2
3
4

tar -zxvf redis-2.8.12.tar.gz
cd redis-2.8.19 
make
make PREFIX=/opt/modules/redis

环境准备

同步和异步

所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。调用者等待处理结果。

Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。

关于kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

下载安装

1
2

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.9.tar.gz
tar -xzvf zookeeper-3.4.9.tar.gz

现象

1

17/04/18 11:21:08 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.

问题描述

Maven仓库默认下载速度很慢，非常影响项目的开发速度和构建速度。

sbt构建scala应用

下载安装

sbt是一款Spark用来对scala编写程序进行打包的工具，下载sbt-launch.jar的下载地址。
安装在 /usr/local/sbt 中：

1
2
3

sudo mkdir /usr/local/sbt
sudo chown -R hadoop /usr/local/sbt		 # 此处的 hadoop 为你的用户名
cd /usr/local/sbt

Spark运行模式

Spark的运行模式多种多样，在单机上可以以Local和伪分布式模式运行；部署在集群上时有Spark内建的Standalone模式及对于外部框架的支持，有Mesos模式和Spark On YARN模式，这两者主要区别是资源管理交由谁负责。