最近闲的慌 拔草了许多电影 有当下上映的 也有各种高分  【重返20岁】

尽管是中文版【奇怪的她】 对白和情节上也不仅相似 但是剧情在中国化的喜剧氛围后 在幽默之余更加动人 讲述了60岁老太太进入青春照相馆穿越回20岁重回亲朋身边的逗趣温馨故事  贴近百姓人心的穿越让本显得平庸的幻想片令人动容 婆媳关系 婆婆的唠叨 祖辈对晚辈的疼爱 都和中国家庭的生活息息相关应该是举家都适合观看的好电影 推荐 ★★★★★

 【博物馆奇妙夜3】

个人感觉这样的穿越就显得有些苍白 尽管秉承了1和2的故事串联和笑点 但是终归只能作为商业喜剧 凭借着一流的但却不入流的特效展示和脸谱化的人物和动物 使得笑点单调不具深意 终归是围绕着如何防止一块会褪色的石头褪色的故事展开 在大英博物馆碰到各种大变活人的化石疯跑了好几圈终于找到咪咪的俗套剧情 重口的爱情 木乃伊一家的温情 仅仅是难得的喜剧之外的意外 不推荐 ★★★

  

【辩护人】

韩国电影最近经常入我的眼球 除了一贯的感情戏让人缠绵得撕心裂肺 更高的立意也是值得国产电影学习的地方 辩护人类似的主题若是在国内上映应该是冷处理禁播状态 结社游行反共主义 都是大忌讳 更甚的是提到了民主主义 权力交给人民 法律真正能凌驾于人制之上 从微观一个发际的律师心态的变化 到宏观上整个社会的响应整个律师界的声援 充满了正义（敢于与政府抵触）和正气 我宁愿相信学生是社会的源动力 科技的变革 政治和思潮的涌动 都是从底层接受教育感受最清澈的思维发出的 社会是个大熔炉 不进去不知道疾苦 但是进去了也便只晓得尝到疾苦了 剧中律师和家人的纠结 律师和阿玛的纠结 律师和法官和原告的纠结 都影射了整个社会的人际关系和人情来往对法制的影响 无论社会主义资本主义 暴力机关大抵上都是为了统治阶级服务的 但是能发声 能自由的发声 能自由的不加掩饰的发声 也便只有某些地方 才有罢 推荐★★★★★ 

 【布达佩斯大饭店】

据传2014年奥斯卡就炒鸡火了今年又被捧红了 文艺到醉 拼接章节式的小段故事一般 娓娓道来 层层递进 把越狱 偷画 偷腥 逃亡表现的如此的幽默 但又不失结构感 尽管脸谱化过重了一些但是人物表现的张力十足 要强有能力的门童 广结人缘唠叨满腹又一路坎坷的酒店主管 冷酷的杀手 可爱懵懂为爱奋不顾身的女孩 极致的展现了导演的造化功力 推荐★★★★★

 【恐怖直播】 

韩国独特角度和独特风格的电影 特爱把主角从内心到外表抓狂捉急焦虑挣扎各种心理状态细微刻画 又是一场 针对国家针对政府层面的立意 最近几部看到的韩国高分电影都带有政治色彩 这一步甚是左派风格 毅然决然的在绝望的时候化身成了恐怖分子 这样的延伸在国内甚至可能成为民族主义 民粹主义分裂人民和国家的借口 因为值得深思的是国家尊严和个人尊严冲突时的应激处理方式 自我价值和他人价值联系融和时生命取舍的价值观对待问题 诚然 身处电影的灾难时 我也不清楚会不会暴力的变成一个为了自证而自我毁灭恐怖分子 ★★★★ 

【素媛】

 超棒暖人心的电影 情节有些虐 在火车上本以为是个故事剧情 居然在被窝里看哭了 韩国的心理戏真是让人赞 超离了父母的爱外依旧心系整个国家整个社会的法制正义 推荐★★★★★ 

【疯狂原始人】 

米帝梦工厂动画始终如一的剧情和特效完美结合 加上些许或勇气或希望或爱情的立意 搭配完美结局 整合成套的美国动画标准制作 些许欢乐些许感人 讲述了原始人老爹不愿接触新事物到勇于探索新天地的历程 ★★★★ 

【霍比特人3-五军之战】

 没有资格评价 过于复杂的家族关系和世界观 但相比霍比特人1睡着了的我已经充满斗志的看完了 抛开剧情设置而言 对覆灭濒临崩溃的军队的描绘并没有让人看到绝望或者惨痛 而主角们过于单一化的主线进入单挑模式也不让人有更多现象空间 面对黄金魔咒而挣脱出来的索林也显得有些唐突 最出彩的怂蛋却压制了主角的人物化性格 战争格斗场面甚至想起了早些年的一些国产历史剧 特效不太值得imax 只有颜值影迷和故事系列影迷能够如此深邃的看下去罢 ★★★★ 

【无人区】 

人只有在群居时才是人类 给独特的视角和故事结构赞 主角光环有些过于负重了 血腥暴力可以再更贴近实际 但一切的黑暗和光明都已很出彩 推荐★★★★★

 【消失的爱人】

 剧情反转以至于电影的类型都突然翻转 本以为是黄赌毒的温情片 结果意想不到的确是恐怖剧情悬疑片 女主有高圆圆那种独特的大方而温柔的美 我要是男主都被吓傻了 这妞完全没法hold 各大影评好评到爆 目测奥斯卡有一些收获 不过本应生活的太过跳跃了★★★★ 

【智取威虎山】 

难得的国产战争片一气呵成的2个多小时 尽管任务化妆和服装都略假 但剧情层层深入以及反派的桀骜残暴性格给加分不少 其中少数土匪的幽默细胞和土匪帮派的对话、组织、反间等特殊场景成为亮点 最后的特性也十分酷炫 作为红色电影能有如此震撼而连贯的气质徐克展现不俗实力 推荐★★★★★    

2014亦算是个重要节点。考研了。复试了。毕业了。喝醉了。一切都这么顺利，顺利得很平静。狂欢中带走离别，夹杂着不少的噪音。世界杯让我忘了自己，撞上了树状。自以为满心得意的DIP，睡过了。怪不了谁，谁都不应该为我负责，22岁，一个复杂的年龄。

或许该是成长到成熟这个节点了。一个人一年，走了至今最多的城市，武汉 北京 天津 绍兴 杭州 桐乡乌镇 嘉善西塘 吴江同里 苏州 无锡 扬州 长沙 张家界 成都 都江堰 川主寺黄龙 九寨沟 若尔盖花湖 乐山 重庆 南宁 大同 介休 太原 平遥 鄂尔多斯 达拉特旗 包头 呼和浩特 。一个人一年，看了至今最多的书，尽管都是学术和科研，但终归是目测达到了智商的巅峰，无论数理逻辑还是语言学习，都未曾来过的顶峰。一个人一年，看过了至今最多的电影，学会了沉溺，更学会了跳跃和放弃，不再执着于影评，不再执着于类别，看的就是当下的心情 。一个人一年，习惯了抬头看星星，低头碰杯饮，吃了至今最多的零食，喝了至今最多的酒，吐了至今最多的槽。我有一个常煮面的锅，我有一个可以经常打羽毛球的伴，我有一个听李荣浩的音箱，我变得有些孤僻，但时而放荡得不着边际。更爱笑也学会了哭，面对恐惧却不自觉的冷静得冷酷，面对压力从容得像未曾来过。我学着独自承受，学着享受提供的起起伏伏，学着把握每一时刻的心跳。平淡里最显唐突的就是离别，但是把酒言欢，抑或酒吧，抑或桌游，抑或聚餐，都是无懈可击的欢乐筵席。有泪水，却不带苦涩。有倾斜，却毫无酸楚。我们珍重这说着的是永恒的朋友，唱着这一次又一次骊歌。

 

我却爱逃避。逃避挥手。逃避责任。逃避胆怯。用放纵来表达着怂。

 

2015.不怂。

SublimeText添加中文编码

1. Preferences”–>“Package Control
2. 在输入框内输入“Install Package”，点击下方自动提示出来的“Install Package”
3. 弹出一个输入框内输入“CovertToUTF8”，下面就会相应的插件，鼠标点击安装。
4. 稍等几秒后，插件就会安装成功，无需重启Sublime Text,中文内容已经能够正确显示了。

这个任务主要是在搭建好Hadoop2.2.0环境的基础上，模仿sample中的wordcount程序，手动编写一个Mapreduce的对日志文件分析的函数。该日志文件是模拟搜索引擎记录所有用户的查询，当有一个用户使用搜索引擎进行搜索时，日志文件会记录这样一条记录：（搜索时间、搜索关键字、用户IP）。其中，日志文件的格式是：

• 时间+搜索词+IP地址
• 2011-10-26 06:11:35 云计算 210.77.23.12
• 2011-10-26 06:11:45 Hadoop 210.77.23.12

利用Mapreduce模型对日志文件进行分析，需要完成的任务有：

• 所有日志中出现次数最多的50个关键词；
• 特定日期区间日志中出现次数最多的50个关键词；
• 特定IP地址区间（假定前3段相同，区间在4段中设定）日志中出现次数最多的50个关键词

任务主要流程包括：

• 按照一定的规则随机生成并将日志文件写入DFS中。
• 将日志文件进行字符串筛检，提取出所需字段并计数
• 将累计的词数进行排序

编程之前，研究了一下eclipse-hadoop的插件，其作用是可以快速的查看DFS中的新增的文件，即写入日志，生成日志都能快速的查看。下载jar包，将之放到eclipse目录下的dropins里。启动eclipse后再preference里可以配置hadoop的路径。

在导航中打开map-reduce的窗口，右键新建一个HadoopLocation，如图：

这里Mapreduce和DFS的port分别是mapred-site.Xml和core-site.xml中配置的端口。这样就可以在Program Explorer 中看到dfs的文件。

此外，加入了插件后还可以直接建立Mapreduce的项目，这里就不详述了。

变成之前对Hadoop2.2.0的Mapreduce做一个简介。之前版本的Mapreduce是由Jobtracker和TaskTracker来管理的，之后出现了Yarn模型的版本，其要义是优化了每次Job都要经过JobTracker分配的结构，通过NodeManager管理节点任务，通过ResourceManager管理资源的分配。

该系统程序的编写建立在系统自带的Wordcount demon上，通过重写Mapper类下的Map函数和Reducer类下的Reduce函数来读入分布式文件的数据，并进行分布式处理。其中，排序并找出前K个任务由两个Mapreduce完成。第一个任务Map负责读取分布式文件，截取字符串，并按任务需求过滤log信息；第一个任务Reduce负责对截取出的搜索词计数。第二个任务的Map负责封装新的词频和搜索词；第二个任务的Reduce负责将K-V键值对加入TreeMap并进行排序，最终输出TopK文件。
操作者需要在一台配置好Hadoop的Linux全分布式节点的环境下，在控制台通过hdfs命令输入7项参数（其中5项必选）：1.输入log日志文本路径 2.第一个Mapreduce输出的词频统计文件路径 3.第二个Mapreduce输出的词频统计顺序排列的文件路径（中间过程）4.第二个Mapreduce输出的最高词频统计结果的文件路径 5.任务需求 6.参数1 7.参数2 进行系统的操作，最终在在hdfs文件系统中找到生成的结果，一般以ABC-part-00000命名。参数输入错误或者系统崩溃会自动停止程序。

之前叙述了系统由两部分构成，其中第一部分不作为系统的主体框架，只作为普通JavaApplication处理，另一部分则具体分为MAP1，REDUCE1,MAP2,REDUCE2来处理，以下是系统设计的具体框架。
第一部分较简单，通过调用Hadoop写入文件的API，再加上随机函数分别生成搜索词、IP和日期来实现。第二部分则通过编写两个函数入口run、两个map读取文件和两个reduce实现相应功能来组成。本系统的主要类如下：

其中，Config主要存放系统全局的参数，例如日志行数，日志起止时间，topK个数等。
DFSWritter负责第一个主要任务写入数据，包含以下函数：

写入数据构成如下：

其中获取随机日期的getRandomDate函数，其中在config中指定各参数

获取随机搜索词的函数，其中Config可以配置搜索词最短和最长词数。

获取随机IP的函数，其中IP最大最小值可在config中指定。

Writter函数，负责写入log数据，已指定了写入的路径。

在main调用写入函数即可。第二个任务是进行日志文件的筛查、排序、查找最大值。主要用到的类有：

LogAnalysiser21、LogAnalysiser21分别负责第一个、第二个Job的入口，继承了Configured类，实现配置Map和Reduce，若有Combiner或者partitioner也在这里进行配置。它们均重写了run函数进行mapreduce的启动。二者可以合并，这里分开让结构更清晰。
MapClass MapClass2分别是两个job的映射，读取输入的文件并传给Reduce。它们均继承自Mapper并重写map函数。
ReduceClass ReduceClass2 分别是两个Job的处理细节，收到来自Map的信息并作整合处理。它们均继承自Reducer并重写reduce函数。
如下图是该任务的系统流程：

其中logAnalysis21负责对参数中mode进行判断，加载第一个job，主要函数run’为：

MapClass中map函数如下，主要负责依据不同的需求对日志文件进行筛选

ReduceClass 中reduce函数如下，主要负责计数并输出。

LogAnalysis22负责加载第二个job，run函数如下：

MapClass2负责读取上一个job的wordcount文件，并对数据键值对进行改写，将词频改写为填充到10位的long，由于排序时同词频会被删除，因此将key改写为（词频+搜索词）value改写为（搜索词） 。Map函数如下：

Reduce2负责读取传来的键值对，写入TreeMap，利用TreeMap的排序器自动对传来的改写（搜索词+词频）进行排序。这里用到了TreeMap自动根据key值进行排序的方法，但是key不能重复，因此在Map中改写起到了作用。同时，这里重写了TreeMap的Comparator函数，默认依据是从小到大排序。若指定了排序器Comparator，这里就可以按照从达到小进行排序了。排序完成后截取key前10位即为词频，value即为搜索词。Reduce函数主要如下：

这里context输出只是中间结果sort，需要找到前N个高频搜索词，因此指定新的输出：

在安装配置好hadoop的分布式系统启动hadoop：

 

./start-dfs.sh ./start-yarn.sh

在Config.java确认配置参数

运行DFSWritter.java文件，将日志写入HDFS分布式文件系统，这里写入50个作为测试。

输入hdf格式的命令，先列出log日志的结果

将Java程序导出成JAR到本地路径/usr/workspace/jar/logAnalysis2.0.jar。

在命令行hdf命令，并带上必要的参数。首先运行需求一

两个Mapreduce一气呵成完成，分别查看wordcount\sort\topK,
查看Wordcount，可以看到按需统计的词频

查看sort，其中大的值排在了最后。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

最后查看topK结果，即截取了sort的最后的8项并倒序输入。

运行第二个需求，在参数五中输入2，并写上起止IP

运行结果的wordcount、sort、topK文件分别如下

最后运行第三个需求，参数中带入3 和起止时间。

再次分别查看wordcount sort topk文件，比对前文的全log发现完全符合。

这样，一个建立在Hadoop的Mapreduce小例就完成了。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Android adt zip包下载
http://developer.android.com/sdk/installing/installing-adt.html#Troubleshooting

hadoop简直神烦，在centos64位中0.2.0和1.2都在安装的最后一步出了问题。node和name都启动了，log没有错误，就是report里各项均为零。折腾了好几天换到2.2.0需要编译才能使用同样是因为各种dependencies版本不兼容编译不通过。最终确定下来的配置是

• centos6.5的32位系统3台，其中两台安装在同一台物理机的虚拟机上 &另一台物理机则安装第三个centos虚拟机
• 两台机子分别是：
• master 192.168.199.111
• slave1 192.168.199.212
• slave1 192.168.199.184
• 机子间的网络靠路由器连接的内部IP，由于内部分配的IP不是静态的，需要改成静态的（需要保证ip不会冲突）

一 在VMware下安装centos6.5 32bit

这个自己解决，在http://wiki.centos.org/Download 中选择镜像下载centos6.5，centos7由于刚发布，有些兼容不好。在安装的时候，自定义硬件-网络适配器 选择桥接模式，复制物理网络状态不要勾选。

安装默认是的是NAT模式，与主机共用同一个IP地址，这样虚拟机下无法分离出更多的IP。安装后启动centos6.5，键入

su root

输入密码，进入root最高权限用户。在键入

vi /etc/hosts

可将原来的清空，在hosts文件中添加本机的主机名和IP以便不同节点之间识别，我的如下

192.168.199.111  master
192.168.199.212  slave1
192.168.199.184  slave2

更改主机名

vi /etc/sysconfig/network

我的主机更改如下

NETWORKING=yes
HOSTNAME=master

更改内部自动分配的IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

如下图，其中IPADDR 192.168.199需要与物理机的前缀相同，111自己设一个没有冲突的ip地址，netmask和gateway和物理机完全一致。这些可以在物理机的命令行窗口执行命令

ipconfig

进行查看。再键入

service iptables status

查看虚拟机防火墙状态。若显示firewall is off则表示防火墙已关闭，若显示有内容，则输入

chkconfig iptables off

关闭防火墙自启动，再输入

service iptables stop

关闭防火墙。同时关闭物理机的防火墙和安全软件，这时候可以用ping 测试一下几台配好的机子是否相通。

二 配置ssh无密码访问
ssh是为了在不同节点之间传输文件和消息不用频繁的输入密码。在centos6.5中默认集成了ssh，因此不用安装ssh服务。首先在主节点master上键入

ssh-keygen -t rsa

生成主节点信息的rsa密钥。进入/root/.ssh隐藏目录可发现生成了一个id_rsa和id_rsa.pub,将主节点信息注入授权key

cd /root/.ssh
ls
cp id_rsa.pub authorized_keys
cat id_rsa.pub>>authorized_keys

对authorized_keys进行附权操作（可省略，针对新建立的非root权限用户，例如很多例子里的hadoop用户）

chmod 600 authorized_keys

配置sshd_config文件，并将下列项的注释去掉(其余物理机也要进行这样的操作)

vim /etc/ssh/sshd_config
 RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile     .ssh/authorized_keys

将包含master密钥的授权key发送给slave1节点。

scp  root@slave1 :/root/.ssh/authorized_keys.pub /root/.ssh/

这里会需要输入slave1的root密码，进行确认。在slave1登陆，同样的步骤生成id_rsa和id_rsa.pub。

ssh-keygen -t rsa
cd /root/.ssh
ls
mv id_rsa.pub slave1.pub
cat slave1.pub>>authorized_keys

将包含master和slave1密钥信息的文件传给slave2（此后每加一个节点都需要这么做，把新生成的密钥加入到先前所有人信息的authorizd_keys中）

scp  root@slave2 :/root/.ssh/authorized_keys.pub /root/.ssh/

重复上面的操作，最后将slave2生成的authorized_keys.pub传回给master和slave1.

scp  root@master :/root/.ssh/authorized_keys.pub /root/.ssh/
scp  root@slave1 :/root/.ssh/authorized_keys.pub /root/.ssh/

最后重启ssh服务

service sshd restart

这时候可以在master上直接键入

ssh slave1

登陆slave1主机，第一次登陆的时候需要输入root密码，之后就不需要了。这样就可以直接对slave1的文件进行读写操作，记得退出的时候要输入exit

三 JDK和Hadoop路径的安装
这两个文件的安装都是下载和路径配置，跟目录分别为

/usr/java
/usr/hadoop

这两个路径简单的目的就是为了以后码得少一点
Java
Java最新版本的路径可在http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载java8或java7，这里选择的是jdk7，即jdk-7u15-linux-i586.tar.gz。可在物理机下载后直接复制到虚拟机桌面，解压、复制、改文件名

tar -zxf jdk-7u15-linux-i586.tar.gz
ls
cp -rf jdk1.7.0_15 /usr
mv jdk1.7.0_15 java

配置一下全局的环境

vi /etc/profile

在文件末添加如下代码，配置JAVA安装目录，JRE目录，CLASSPASTH和PATH

JAVA_HOME=/usr/java/
JRE_HOME=/usr/java/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

里面的冒号与windows下系统环境的分号相通。更新一下配置的java环境，查看java版本，出现如下则配置成功。

source /etc/profile
java -version

hadoop
hadoop2.2.0在64位下需要源码编译，比较繁琐且容易出错，在32位下则可直接使用。因此选择在http://www.apache.org/dyn/closer.cgi/hadoop/common/官方网站下下载2.2.0版本的tar.gz包，即hadoop-2.2.0.tar.gz，放在虚拟机桌面，解压并复制到usr目录下，改名

tar -zxf hadoop-2.2.0.tar.gz
cp -rf hadoop-2.2.0 /usr/
mv hadoop-2.2.0 hadoop

在/etc/profile中添加hadoop的信息

vi /etc/profile
export HADOOP_HOME=/usr/hadoop/
export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=/usr/hadoop/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR

以上便完成了前期安装工作。

四 Hadoop全分布的配置
在hadoop中加入java的路径，修改的是hadoop目录下etc/hadoop的hadoop-env.sh

vi /usr/hadoop/etc/hadoop/hadoop-env.sh

将java路径添加在#export java home那里。
修改core-site.xml,添加在configuration里，下同。

vi /etc/hadoop/etc/hadoop/core-site.xml

  
<property>  
    <name>fs.default.name</name>  
        <value>hdfs://master:9000/</value>  
</property>  
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
</property>  

其中，master是主节点的host名fs.default.name与之前的版本名字有所不同。
修改hdfs-site.xml，定义数据节点和名称节点的路径，dfs.replication是datanode的数量，默认为3，小于3的必须写上确切的数目否则会出错。

 
<property>  
        <name>dfs.datanode.data.dir</name>  
        <value>/usr/hadoop/hdf/data</value>  
        <final>true</final>  
</property>  
     <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>/usr/hadoop/hdf/name</value>  
        <final>true</final>  
   </property>  
   <property>  
        <name>dfs.replication</name>  
        <value>2</value>  
</property>
<property>  
         <name>dfs.permissions</name>  
         <value>false</value>  
</property>

修改mapred-site.xml 定义Mapreduce应用的jobtracker。由于系统并未自带，但提供了模板，因此复制一下

 mv mapred-site.xml.template mapred-site.xml

 
<property>
          <name>mapred.job.tracker</name>
          <value>master:9001</value>
</property>

修改yarn-site.xml,配置resourcemanager和nodemanager，这个是2.0以上版本才有的通过yarn管理资源和节点的功能，

 
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>master:8025</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>master:8030</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.address</name>  
        <value>master:8040</value>  
</property> 

创建并未存在的目录，在hadoop目录下的tmp hdf/data hdf/name logs等
配置完后直接启动，则进行的是单节点操作。若要进行多节点，编辑同目录下的slaves文件，默认自带的是localhost，将其删除，将slave1和slave2一行一个写在文件中。
配置完以上信息就拍一个快照吧！之后就可以进行格式化和启动了，但是在运行自带程序中发现它并没有将任务分配到不同的节点，而是只在master本机的localjobrunner中做，

因此若需要在不同的节点分配资源，需要再进行一下配置。
修改yarn-env.sh，同样将java的目录配置在export java_home中。
再次修改mapred-site.xml，保留之前的配置，在后面加入如下属性

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>master:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>master:19888</value>
</property>

实际上就是利用yarn来管理和配置资源，如果配置了yarn，则之前的jobtracker就不起作用。最后修改yarn-site.xml

<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
</property>
<property>
    <nameyarn.nodemanager.address</name>
    <value>master:10000</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>  

好了基本的配置完毕了。。。再照一次快照吧！进行格式化（切记不要进行多次格式化！若出现X node are exclued 。。的错误，把tmp 和hdf目录全删了再重建，再进行格式化）

cd /usr/hadoop/bin
./hdfs namenode -format

随后启动namenode和yarn

cd /usr/hadoop/
./start-hdf.sh
./start-yarn.sh

若是没有报错就基本成功了！键入jps查看服务。如果没有出现nodemanager就需要手动启动

cd /usr/hadoop/sbin/
./yarn-daemon.sh start nodemanager

查看到的jps如下

Jps
NameNode
ResourceManager
SecondaryNameNode  
NodeManager

这就表示启动成功了，可以查看节点状况

cd /usr/hadoop/bin
./hdfs dfsadmin -report  

也可以通过http://master:50070 查看节点状况。

这样hadoop就配置好全分布了。

五 运行自带测试程序

• wordcount

这是一个检测目标文本中所含词数的自带程序。可在http://www.gutenberg.org/files/20417/20417.txt下载一篇英文文章，或者自己选择其他的文章。命名为aaa.txt 并放在虚拟机/etc/hadoop目录下。键入

cd /usr/hadoop
bin/hdfs dfs -mkdir /tmp
bin/hdfs dfs -copyFromLocal /usr/hadoop/aaa.txt /tmp
bin/hdfs dfs -ls /tmp
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /tmp/ /tmp-output 

tmp是建立hdfs的目录空间，在tmp-output中输出结果。运行过程中可以看到进程是由mapreduce.job完成。如图为任务开始时
同时可以登陆http://master:8088观看正在运行的application的信息。如图是结束时候的网页信息。如图是结束时候的命令行信息。执行完毕后可以查看刚才job的执行结果。

cd /usr/hadoop
bin/hdfs dfs -ls /tmp-output
hdfs dfs -cat /tmp-output-00000

第二行的目录是输出目录，列出所有的输出信息后，找到名字头相同，后面添加了-0000等数字的就是输出结果。

• randomwriter

一葫芦画瓢，操作基本相同，randomwriter的任务是随机生成数到dfs中，每个map输入单个文件名，再随机写到键值对中，基本上是一个性能测试。

cd  /usr/hadoop
bin/hdfs dfs -mkdir /rdw
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter rdw

时间跨度比较久，机子较旧可能会非常慢。参考各类博客，版权不究。

主程序 csdn种子 速度略快
安装步骤和破解方法
其中，crack文件使用csdn的crack
安装时注意和arcgis的兼容性问题

一定一定记得每周一篇测评啊。一定一定记得看美剧看教程看app啊。一定一定记得背单词刷书啊。拖延症伤不起！今天卖书收了60还是极好的

http://www.geoguessr.com#.U3SkybblRoc.link
碉堡的猜地址游戏！

1.猎豹wifi3.0 只需电脑端

仅支持移动端向电脑端发图，移动端不限平台（还可支持遥控关机）。

[caption id=”” align=”aligncenter” width=”315”] 遥控关机和传图到电脑[/caption]

图片缓存到本地的C:\Users\Username\AppData\Local\Temp 可以另存和看原图

[caption id=”” align=”aligncenter” width=”312”] 小伙伴发来图片[/caption]

特点：电脑端有可共享的有线网络，图片只能单次传输一张。速度极快。

 

2.qq 同时需要移动端和电脑端登录qq

qq电脑端：安装qq（应该都有安）

点击企鹅主菜单：两个醒目的菜单（传文件到手机&导出手机相册）

 

传文件到手机，菜单里可以传输文件及截图到手机（最好保持手机端启动，否则可能收不到）

手机端会收到一个来自移动端的消息，如果是图片、文字、音频会立即下载并显示或播放，如果是其他文件会等待用户下载。

同样的，手机端在主界面-动态醒目位置可以看到传文件/照片到电脑的功能，电脑端在同样的窗口接收到文件。

特点：同时安装有电脑端和移动端的qq，并分别同时能连上互联网，能单次传输多张照片、多个文件，兼容性好。速度中等。

 

3 茄子快传 电脑端&移动端 ：快牙是最近兴起的互传客户端，原因也众所周知，请了n多女优一起打广告啦。

移动端互传faq ：支持传输移动端应用程序额（Android，暂缺iOS版），支持1对多互传，支持无wifi无网络传输。利用点对点的热点进行连接。

电脑客户端连接移动端&电脑客户端faq ：支持多种格式文件传输，支持多文件同时传输，支持传输到移动端和电脑端，支持无wifi无互联网传输。利用笔记本热点共享传输数据。需停止共享网络及一切使用移动网卡的行为。

特点：速度奇快，支持所有端所有文件类型的传输，需同时装有客户端。

 

4.快牙 电脑端移动端 android平台最最早的互传应用。最早实现android和iOS互通的互传软件。

功能与茄子类似，使用环境非常便利。

电脑与手机端的使用环境

 

电脑之间互传的使用环境

同一wifi环境或者连接电脑或手机建立的热点均可以快捷的传输，利用的就是局域网内文件互传的原理。

特点:与茄子同类型同特点的软件，传输条件要求低，速度快，起步早，可传输移动端内的应用，安装包小，技术成熟。

 

5.网盘共享 （百度网盘 金山快盘 360网盘 新浪网盘 华为网盘 qq微云 onedrive dropbox googledrive）[尤其对大文件、视频、音频]

利用不同网盘客户端 上传下载的功能进行文件传输。

特点：速度在教育网络的时候，上传下载都极其快，但是条件苛刻，流程有些繁琐。

附：百度网盘内置了闪电快传的新功能，原理和茄子快牙类似，可登录同一账号进行不同客户端之间的传输，搜索客户端的效率有些低。没有传输到电脑的功能。

 

6.笔记共享（印象笔记，随笔记，网易云笔记）[针对网页、文字段落、手写笔记等]

对网页、文章、列表等的copy和手记摘要的同步较迅速，尤其是印象笔记的chrome插件有非常大的优势 。

印象笔记的极为便利的网页摘抄。

特点：针对文字同步，对有排版，需要按照原文格式传输的文件方便。需要安装较大的移动端安装包，电脑端在网页同步。

7。UC

浏览器附带的功能是为了便利标签页，书签，保存的网页等特殊格式的同步和传输。

 

 

 

 

 

特点：支持浏览器和不同移动端网页的书签、标签页同步，电脑无需客户端，移动端需要安装uc浏览器。

此外，android端的UC浏览器还嵌入了插件功能，下载文件分享助手的插件，可以将本地任意文件或分类好的不同格式文件进行共wifi传输。电脑端无须软件，浏览器输入地址即可。共享速度可达600kb/s.

[caption id=”” align=”aligncenter” width=”214”] 秒速600+[/caption]

@转载注明原文地址。

goagent图文教程–appid的注册 goagent的下载

 

其中第六点autooproxy已经跪了。如下
goagent+foxyproxy
1. 导入证书：选项-》高级-》加密-》查看证书-》导入-》”goagent/local/CA.crt”
2. foxyproxy-代理服务器-新建代理服务器-代理服务器细节
3. 主机选项:127.0.0.1 端口:8087 （不要勾选socks代理）
4. URL模式：勾选–【不要内部网络IP地址使用这个代理】
5. 点击确定
6. 模式订阅：点击 转到
7. 在出现的窗口中填写 订阅名称、订阅描述 和 订阅网址（https://autoproxy-gfwlist.googlecode.com/svn/trunk/gfwlist.txt ）代理服务器为刚才设置的goagent代理服务器
8. Format：AutoProxy 和 Obfuscation: Base64
9. 点击确定
10.快速添加：启用、选择设置好的goagent代理
11.选择工作模式：使用基于其预定义模板的代理服务器
12.关闭
13.重启FireFox

goagent在android shadowsocks 在电脑 shadowsocks在安卓 shadowsocks在iOS

马蜂窝游记：江南8城10日毕业漂流&tips（绍兴-杭州-乌镇-嘉兴-西塘-同里-苏州-无锡-扬州）

面包旅行图片日记：绍兴杭州乌镇嘉兴西塘同里苏州无锡扬州毕业漂流

人人相册（单反）：【待更新】

 

[caption id=”” align=”aligncenter” width=”524”] 旅程记录-截至2014.5[/caption]

目前为止的国内省份记录。除了4个自治区。2个岛。2个直辖市。四川。福建。安徽。河南。山西。东三省都差不多去过了。安徽、河南路过无数次姑且也没什么玩的吧。

毕业前目测能去一趟梦寐已久的都江堰和九寨沟。东三省，内蒙，河南，山西，目测研究僧的时候能去一发。这样下来。就差出境游和危险地带了。go and continue go.

1。本想换个英文裤裤的区域的系统，，结果myeclipse的console总是中文乱码我就了天呐的debug。。。结果英文系统的console的默认是iso-8859-1，修改myeclipse.ini,添加-Dfile.encoding=utf-8也无解,只能调回中国区域。服务器乱码的问题还需要好好看看。

2。本想对比着买个Nike Fuel vs Fitbit flex vs Jawbone up2。结果发现财力有点缺陷。。。考虑着弄个国产百度的咕咚好了。看了大多的评论结果一致是，nike的功能单一但是如果只是跑步那心率和测步还不错。up返修率太高，但是心率检测比较到位，flex功能最强大，各种运动的能量消耗能好计算，电池时间也不错。就是，就是都太小贵了。还是考虑上股东手环吧。

3。315晚会，没什么新意的坑爹伎俩了，最重要是的新消法的出台还是比较看好的。个人和组织的力量终于被法律认同了。鱼肝油，内燃车，尼康，炒白银，额，都跟哥没什么干系吧。不过，恶意后台木马和风控自动系统的程序猿呐，良心呐!

继续运动！！两天一次不能再断了。

出卖灵魂的人一般都瞧不起出卖肉体的。