Hadoop部署

Hadoop介绍Hadoop是Apache下面的一个开源的、可靠地、可扩展的分布式计算存储系统。Hadoop项目中主要包含四个部分:Hadoop Common:用于支持Hadoop其他模块的一些公共程序。Hadoop Distributed File System (HDFS):Hadoop使用的一个高吞吐量的分布式文件系统。Hadoop YARN:用于Hadoop任务调度和集群资源管理的框架。Hadoop MapReduce:基于YARN的并行处理系统,用于处理大数据,MapReduce也是一种编程模型。当我们从Hadoop官网下载二进制包安装好一个Hadoop集群后,就包含上面四个部分。当

用图数据库neo4j分析《权力的游戏》人物领土等关系

最近研究图数据库neo4j的时候发现了一个非常好玩的东西——利用图数据库分析非常火的美剧《权力的游戏》里面错综复杂的人物、领土等关系。写在前面本文不是科普图数据库neo4j的文章,所以不会涉及太多该数据库如何使用等细节(比如Node、Relationship、Property等概念,以及Cypher语法),但是也会简单涉及如何安装、配置等步骤,但是这不是重点,重点是用这个东西理出小说里面的人物关系等。如果对数据库本身有兴趣的,请移步http://neo4j.com。后续我应该也会写一些相关的文章来介绍该数据库如何使用。所以,本文不是技术性文章,如果你是来学技术的,此时已经可以按下ctrl+w了

Mac下SVN使用方案推荐

现在虽然Git大行其道,但是也在所难免会有使用SVN的场景(比如我原来在华为的部门用的就是SVN),毕竟相比于Git,SVN使用起来还是简单很多,而且Git更适合于开源模式的写作。好吧,工具无绝对的优劣,不比较了,没什么意义。本文主要推荐一个我认为在Mac下还比较优雅的SVN解决方案。当然,如果你的开发工具是诸如Eclipse、IDEA等高级IDE的话,一般这种IDE集成的版本管理工具就足够用了,你也没有太大必要再继续往下看了...相信很多Mac用户会发现,在Mac上Git的客户端还挺多,比如SourceTree就是一个非常棒的而且免费的Git客户端,但是SVN却没有什么比较像样的客户端,免费

Alfred版本修改内置Terminal为iTerm2

Alfred是Mac下一个非常强大的工具,网上有许多如何使用的教程,我目前也只是会使用一些基本功能。其中一个我特别喜欢的功能就是直接可以在Alfred里面输入shell命令(默认需要在命令前家>符号,表示是shell命令),然后就会自动打开终端执行。但这里有个问题就是Alfred默认使用Mac自带的Terminal,而大多数在Mac经常使用终端的一般都会使用iTerm2,因为它配合zsh+oh my zsh,真的是非常强大。对于目前最新的iTerm 3.x版本,可以通过如下方法将Alfred内置的Terminal改为iTerm2:打开Alfred的"Preferences->fea

自问自答

Q:为什么两个多月没有更新博客了?A:这两个多月,不,准确来说过完年过来就没再怎么做比较靠谱的和技术相关的东西了,所以感觉也没有什么可写的。Q:为什么呢?A:公司组织结构调整,研究院战略转型。别人能做出来的技术就是low的,我们要做别人做不出来的东西(好像是这样子的吧...)。Q:然后你就离职了?A:其实从有离职的想法到最后决定走还是有一个比较长的周期的,就像谈恋爱一样,再最终分手前还会一会幻想着一些时间可能会发生改变。可越等越发现自己在这里没有任何作用:做牛逼的东西给别人展示需要的是前端,不需要后台;各种调研汇报需要的是精通PPT、Excel,精通百度百科的人,然而我一样都不擅长;还有各种P

并发不是并行

现在我们都说设计可并行的程序、高并发的程序?而且很多时候潜意识里面觉得对并行(Parallelism)和并发(Concurrency)的的区别很清楚,但是如果要明确的说出二者的区别,又感觉没法给出一个非常清晰的描述。最近看到Go语言发明者之一Rob Pike的一篇演讲《Concurrency is not Parallelism》,觉得挺不错的。因为特别喜欢的里面的配图示例,所以我决定写本篇博客,将其转过来,也方便一些网络不畅的人。下面给出原文涉及的一些链接:演讲幻灯片请移步:https://talks.golang.org/2012/waza.slide演讲视频请移步:https://www

Linux下的非阻塞IO库epoll

今天看到一篇文章,对于epoll讲解的非常生动清晰,转载收藏一下,原文请点击here。生活中的一个例子假设你在大学中读书,要等待一个朋友来访,而这个朋友只知道你在A号楼,但是不知道你具体住在哪里,于是你们约好了在A号楼门口见面。如果你使用的阻塞IO模型来处理这个问题,那么你就只能一直守候在A号楼门口等待朋友的到来,在这段时间里你不能做别的事情,不难知道,这种方式的效率是低下的。进一步解释select和epoll模型的差异。select版大妈做的是如下的事情:比如同学甲的朋友来了,select版大妈比较笨,她带着朋友挨个房间进行查询谁是同学甲,你等的朋友来了,于是在实际的代码中,select版大

我们要结婚了

放假前,再发一篇博客吧。这次不是技术,是秀恩爱...和女朋友在一起也五年多了,虽然中间也经历了很多波折,但结局好一切都好。如今马上就要走进婚姻的殿堂,没有婚前恐惧症,只感受到满满的幸福。最后,附一首我喜欢的歌和歌词吧。终于等到你到了某个年纪你就会知道 一个人的日子真的难熬 渐渐开始尝到孤单的味道 时间在敲打着你的骄傲 过了某个路口你就会感到 彻夜陪你聊天的越来越少 厌倦了被寂寞追着跑 找个爱你的人就想托付终老 能陪我走一程的人有多少 愿意走完一生的更是寥寥 是否刻骨铭心并没那么重要 只想在平淡中体会爱的味道 终于等到你 还好我没放弃 幸福来得好不容易 才会让人更加珍惜 终于等到你 差点要错过
|