发表于 更新于 分类于 ， 阅读次数：

记一次 Greenplum 集群宕机恢复流程，网上相关资料比较少，主要问题是非正常关闭集群，导致 segment 的 xlog 损坏，最后通过pg_resetxlog 修复 xlog 之后，修改 Greenplum 系统表 gp_segment_configuration 来重置 segment 状态。

阅读全文 »

发表于 更新于 分类于 阅读次数：

(本文写于 2017 年初，更新于 2020 年)
博客评论系统现状：

  • 多说已经倒闭了，将于 2017.6.31 结束服务
  • Disqus 国内非常不稳定，虽然用了一段时间，但是发现最近好像有广告了，有很多乱七八糟的请求。
  • 畅言估计和多说差不了多少，没看到赢利点。
  • 网易云跟帖，不能设置昵称，不能匿名评论，加了官方群，都是提问的，管理员不作为。
  • 然后就找到了这个开源的评论系统：Isso

2020-03-22 更新：最近又看了下新版本（源码安装），有了很多新特性：

  • 支持邮件通知，每个评论都发给管理员，评论者可以接收别人回复自己的评论；
  • 支持 Gravatar 头像显示（支持使用CDN镜像，你懂的），或者随机头像；
  • 支持 MarkDown；
  • 后台审核管理功能；
  • 对评论进行<顶>/<踩>;
  • Python 3

2017-05-01 更新：新增微信审核评论的方法，见：微信审核开源评论系统 Isso 的评论

阅读全文 »

发表于 更新于 分类于 ， 阅读次数：

Coding 在卖给腾讯之后又表面上独立了，不再集成在腾讯云里面，改版之后开始使用 e.coding.net 域名，从单纯的 git 服务变成了项目管理，默认是以团队形式做项目管理，一个人也是创建团队之后再用，5 人一下团队免费。团队下面可以创建多个项目，每个项目可以有多个 git 仓库。新增功能包括：持续集成、文档管理、项目管理（待办等）、测试管理（用例、评审等）、项目统计等。

Coding Pages 服务免费了，需要实名认证（身份证号码和手机号即可），不过因为某些原因，服务器在国外，速度还可以，支持自定义域名、https 和 h2，折腾一天之后成功实现 push 之后自动编译 hexo 并部署到 Coding Pages，不用腾讯的小鸡部署了。

主要说一下 Jenkins 配置和自动部署：

阅读全文 »

发表于 更新于 分类于 ， 阅读次数：

监控

Structured Streaming 简介

Structured Streaming 在 Spark 2.0 版本于 2016 年引入， 是基于 Spark SQL 引擎构建的可扩展且容错的流处理引擎，对比传统的 Spark Streaming，由于复用了 Spark SQL 引擎，代码的写法和批处理 API （基于 Dataframe 和 Dataset API）一样，而且这些 API 非常的简单。

Structured Streaming 还支持使用 event time，通过设置 watermark 来处理延时到达的数据；而 Spark Streaming 只能基于 process time 做计算，显然是不够用的。

比如 .withWatermark("timestamp", "10 minutes") 表示用 DataFrame 里面的 timestamp 字段作为 event time，如果 event time 比 process time 落后超过 10 分钟，那么就不会处理这些数据。

Structured Streaming 默认情况下还是使用 micro batch 模式处理数据，不过从 Spark 2.3 开始提供了一种叫做 Continuous Processing 的模式，可以在至少一次语义下数据端到端只需 1ms 。

不过 Structured Streaming 的 Web UI 并没有和 Spark Streaming 一样的监控指标，所以有了这篇文章。

阅读全文 »

发表于 更新于 分类于 ， 阅读次数：

Python 3 的 concurrent.futures 里面封装了多进程 ProcessPoolExecutor 和多线程 ThreadPoolExecutor，代码写起来非常简单，一个简单的示例：

1
2
3
4
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=1) as executor:
    future = executor.submit(pow, 323, 1235)
    print(future.result())

executor 有两个常用的方法 submit 和 map，前者用于单次提交任务，后者用于批量提交。

阅读全文 »

发表于 更新于 分类于 阅读次数：

需求场景：本人使用 Windows 10 操作系统，终端为 WSL(Windows Subsystem for Linux) 就是一个 Linux 子系统，可以运行各种 Linux命令，当我用 wget 下载一个大的文件的时候，可能要等很久，但是我不知道什么时候会下载完，这时候需要他完成之后给我发一个通知，这个通知在原生 Linux 和 Mac 上是比较容易的，这里说一下在 Windows 下的设置。

阅读全文 »

发表于 更新于 分类于 ， 阅读次数：

Typora 是一个非常优秀的 Markdown 编辑器，与大部分编辑器不同，它使用了一种所及即所得的编辑模式，输入 Markdown 格式的文字，实时渲染。

我用的 Hexo 博客系统，里面的图片路径比较特殊，/images/xx.png 这种路径，一般编辑器是无法识别的，去网上搜了一圈也没找到到底如何在 Typora 中设置，最后在官方文档中找到了。

阅读全文 »