看什么看，学习去！

使用Python自动抓取更新的小说，并发送到Instapaper上

2018-01-07T00:00:00+00:00

一直比较喜欢看小说，可是自从几年前我的起点账号莫名其妙的被人盗了然后还无法找回之后就放弃了起点。最近在用飘天文学在看，可是问题就是更新的时候没有办法像起点那样给我提醒。所以只能时不时地用刷网页看看有没有更新。另一点就是伦敦地铁里没有信号，像我这样每天需要一个小时通勤的人在地铁里只能每次到站的时候快速连一下wifi，上个网。直到我遇到了Instapaper。

Instapaper

Instapaper 可以把想要看的网页保存下来，稍后阅读。对于我来说就成为了一个菜谱，教程的集散地。经常性的看到一些让我心动的教程，我就把它们保存到Instapaper里面。相对于Pocket，Instapaper是免费的。

用着Instapaper的时候我就在想如果能把小说自动放进来就好了，这样即使没有网络我也可以看小说。

Python 抓取小说

之前看了些爬虫的教程，感觉这个可以帮助我实现这一简单的目标。实际上这里的东西并没有爬虫那么复杂，不需要每个链接都过一遍。因为我使用的是飘天文学，所以网址的结构是

http://www.piaotian.com/bookinfo/小说代码.html

小说代码在novel_url这个变量里。

在这里我用了pickle来储存每次抓取的结果。用来和下一次抓取的结果做比较来找出最新更新的章节网址。
如果是第一次运行，代码会查看是否有url.pkl这个文件存在，如果不存在的话就把last_url这个变量设为empty list。
之后就是一个简单的for loop，因为我在同时追四本小说，所以就要抓取每本小说。
对比之前抓取的结果，多出来的就是最新更新的章节，把这些章节发送到instapaper里面。
设定让这个程序每20分钟运行一次。

下面的代码就是实现抓取最新章节的网址：

#!/usr/bin/env python
import requests
import re
import os.path
import pickle
from bs4 import BeautifulSoup
from instapaperlib import Instapaper
from apscheduler.schedulers.blocking import BlockingScheduler

# 想要抓取的小说名和小说在飘天网网址里的代码
novel_list=["一念永恒", "道君", "带着仓库到大明", "圣墟"]
novel_url = ['7/7981','8/8491','8/8472','8/8253' ]
def fetch_novel(novel_list, novel_url):
    print('job running')
    # 检查是否存在url.pkl文件，如果不存在就把last_url设为emtpy list。 如果存在就把其中保存的内容是为last_url
    if os.path.isfile('url.pkl'):
        with open('url.pkl') as f:
            last_url = pickle.load(f)
        f.close()
    else:
        last_url=[[],[],[],[]]
    # 使用instapaper的API 登陆instapaper
    ins = Instapaper("username","password")
    ins.auth()

    url_archive = []
    for j in range(0,len(novel_list)):
        ## 检测最新章节地址
        # 小说网页
        old_url=last_url[j]
        url = 'http://www.piaotian.com/bookinfo/'+novel_url[j]+'.html'
        head = {}
        # 使用代理
        head['User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'
        # 创建request对象
        page = requests.get(url)
        # 通过BeautifulSoup分析
        soup = BeautifulSoup(page.content,'lxml')
        # 找出最新章节的div
        soup_text = soup.find_all("a", href=re.compile(novel_url[j]), target="_blank",title=re.compile(""))
        # 保存章节的地址和章节名
        latest_url=[]
        latest_title=[]
        for i in range(0,len(soup_text)):
            latest_url.append(soup_text[i]['href'])
            latest_title.append(novel_list[j]+'---'+soup_text[i]['title'].encode('utf-8') )
        # 对比上次抓取的章节地址和这次抓取的，把新更新的章节地址发送到instapaper上
        for i in range(0,len(latest_url)):
            if latest_url[i] in old_url:
                pass;
            else:
                print(latest_url[i],latest_title[i])
                ins.add_item(latest_url[i],latest_title[i])
        old_url=latest_url
        url_archive.append(old_url)
        print(novel_list[j])
    # 把这次抓取的信息保存到url.pkl里面，以便下次抓取的时候使用
    with open('url.pkl', 'w') as f:
        pickle.dump(url_archive,f)
    f.close()
# 让上面的function每20分钟运行一次
scheduler = BlockingScheduler()
scheduler.add_job(fetch_novel, 'interval', minutes= 1, args=[novel_list, novel_url],timezone="Europe/London")
scheduler.start()

使用docker在家庭服务器上运行

然后就是在我的家庭服务器上运行这个抓取程序。像nextcloud一样，我用docker来运行这个程序。

首先新建一个文件夹，在这里命名为fetch_novel
把上面的script保存为xiaoshuo.py，并且保存在fetch_novel文件夹里

在这个文件夹里创建Dockerfile并将以下代码复制进去：

FROM python:2
RUN mkdir /usr/src/novel
WORKDIR /usr/src/novel
COPY . /usr/src/novel
RUN pip install -r requirements.txt
CMD ["python2.7", "xiaoshuo.py"]

在同样的文件夹里创建requirements.txt 写下python代码需要的package：
```
requests
Lxml
bs4
BeautifulSoup
Instapaper
instapaperlib
apscheduler
```
最后，在这个文件夹里创建docker-compose.yml 写下以下：
```
version: '2'
services:
  novel:
    container_name: fetch_novel
    build: .
    volumes:
      - /host/folder:/usr/src/novel
    restart: always
```
其中/host/folder 是你主机里面的文件夹，可以把docker里面的/usr/src/novel文件夹map到/host/folder。这样可以对其进行更改。
最后最后，在这个文件夹下开启terminal，在里面输入docker-compose up -d来建立并启动这个docker image

如此就可以让这个程序每20分钟查看一下有没有更新的小说章节，如果有的话就推送到自己的instapaper账号。如果喜欢的话，可以用ifttt设置一下，在instapaper每次保存新项目的时候让ifttt发送提醒。

使用jekyll和GitHub Pages搭建静态网页

2018-01-01T00:00:00+00:00

前几天在搜索iPad Pro学习软件的时候找到了萤火之森, 挺喜欢这个网站的。看到最下面写着Hexo 驱动，于是乎就顺藤摸瓜开始了解这些了。最后发现了GitHub Pages可以免费host静态网页，配合着jekyll可以基本上满足我的需求了。在jekyll的众多主题中看好了现在使用的这个Minimal Mistakes。于是乎就照着教程开始搭建了。

注册GitHub和安装GitHub Desktop

首先需要注册一个GitHub账户，点这里。注册好了之后就要创建一个新的repository。
之后就要下载GitHub Desktop并且安装。按照自己刚才注册的GitHub信息填写
Clone repository，选择本地的文件夹。这样就可以在本地对文件进行修改，测试网页，觉得OK后再发布到GitHub上
如果需要一个GitHub账户host几个网站的话，就需要新建立一个gh-pages分支，而不是用master分支
- 首先打开terminal（我用的是Mac，其他系统可以用相应的程序）
- 输入 git checkout --orphan gh-pages
- 然后去GitHub网站，点击你的repository，进入Settings，在左面的菜单里找到Branches，选择gh-pages作为Default branch
如果你的GitHub账户只host一个网站的话就不需要创建gp-pages分支

寻找并安装网页主题

找到自己喜欢的Jekyll网页主题，并且下载下来，解压缩之后把里面文件都放到GitHub 本地的repo文件夹里

安装Jekyll并开启本地服务

打开terminal，进入到repo文件夹里：cd /Documents/GitHub/"repo name"/
检查是否有Ruby 2.1.0 以上版本：ruby -v
如果没有Ruby的话可以参考这个链接安装ruby
然后安装Bundler： gem install bundler
上一步找到的主题文件里面应该已经包含有了Gemfile 文件。如果将来需要安装什么Jekyll的插件，可以在这个文件里加入：gem “plugin_name”。
然后安装Jekyll：bundle install

生成网页

在repo文件夹里运行：bundle exec jekyll serve 来在本地生成你的网页。
可以在浏览器里输入 localhost:4000 浏览网页。

配置网页

具体的网站信息可以在_config.yml进行更改，博客要以“2018-01-02-title.md”的形式放在_posts文件夹里面。更多信息可以参考Minial Mistakes 网站的Quick start guide

上传GitHub

当网站在本地经过检查一切就绪的时候，我们就可以把它放到GitHub上去了。

打开GitHub Desktop，填写Summary和Description，然后就可以Commit to gh-pages
然后点击Push origin，大功告成。

等待几十秒，就可以刷新你的网页了，地址是username.github.io/reponame

使用自己的域名

很多时候，我们都想使用自己的域名，实现这个也很简单。

前往域名管理网站，找到管理DNS选项

按照表格设定你的DNS并保存

类型	名称	数值	TTL
A	@	192.30.252.153	1小时
A	@	192.30.252.154	1小时
CNAME	www	username.github.io	1小时

然后在你的repo下建立一个CNAME，里面写上你的域名
最后去GitHub网站，你的repo，选择设定，找到GitHub Pages选项，在来源选项选gh-pages branch，在自定义域名选项填上你的域名

冰岛，冰雪童话

2017-12-30T00:00:00+00:00

去年圣诞，我们终于踏上了我们期待已久的冰岛，至今都难忘那美丽的景色和一天都泡在Blue Lagoon 温泉的舒适。来英国之后就开始计划去冰岛，但是由于种种原因一直无法实现。冰岛这个国家很神奇，那么少的人口，创造出了EVE，可以让我们体验一下星际迷航中所说的“Boldly go where no man has gone before”。再加上传说中的极光和美丽的风景，让我神往已久。

经过了几天的网上搜索，最后确定了在冰岛南部自驾游。本来打算是环岛游的，但是考虑到天气因素，怕北部风雪太大耽误行程，就把行程全部安排到了南部。

行程 @ Google Map

这个是我当时做的google map，记录了每天的行程和景点。以防地图无法显示，我把每天的行程截图放在了后面的具体介绍里面。

第一天：赶路

我们是中午到达冰岛的，朋友是下午2点左右到达冰岛的。大家碰头之后就坐机场的摆渡车去了租车公司取车。这里需要注意的是只有两三家租车公司在冰岛机场航站楼里有柜台，其他的公司都是在机场旁边。摆渡车可以送大家过去，按照车里的提示找到自己的租车公司所在的站点下车就可。之后我们就驱车前往我们第一晚的驻地—Vestri Pétursey。

我们在路上找了个超市，囤了点吃的喝的。我们比较喜欢这种cottage，所以住的地方很多都是前不着地后不着村的。

第二天：冰洞

第二天的主题是冰洞。

我们是提前在Guide to Iceland上定好的票的，然后在早上起床后开车前往瓦纳特蓝冰洞。集合点是那里的一个咖啡厅，旁边就有一些蓝色的小冰山浮在水上，可以趁天亮拍一些照片。他们用雪地车把我们载到比较安全的地方，然后分发安全帽和钉鞋。之后就跟着向导爬山到达冰洞的地方。冰洞的大小感觉是靠运气，有时候他们能发现比较大的冰洞，有时候就只有比较小的。

小心翼翼地下冰洞

从冰洞里面看外面

冰洞里的小路

之后我们就往回走，前往当晚的驻地。

第三天：黑沙滩和瀑布们

第三天的主题就是黑沙滩和瀑布。基本上就是沿着前两天的路往回开。

黑沙滩在Vik周围，刚到达的时候大学加狂风，但是等了一会，阳光就从乌云的缝隙中倾洒下来。

这个时候天放晴了，海水的泡沫留在黑沙滩上，黑白分明

专业人士是不惧任何困难与冰冷的海水的

用iPhone延时拍的，当时感受还是很震撼的。

之后我们就继续Road Trip，路上又路过了斯科加树林瀑布还没看到瀑布的时候就已经可以听到水声了。

当时已经快4点了，所以天比较暗了

水流还是长曝好看

回程的路上最后一个景点是塞里雅兰瀑布。不过由于时间问题，天都快要黑了，所以就在车里远观了一下。

第三天晚上我们住在Selfoss周围，Selfoss属于黄金三角的路线上。所以比较前几天的地方都稍微繁华些。

像我这样的吃货到现在都没有说哪家餐厅好吃是有原因的。前几天都因为住的地方离周围城镇比较远，所以就随便找了个地方吃了点。但是这一天在Selfoss就不得不说吃过的这家餐厅了—-Tryggvaskáli。发现它也是偶然，从Google map上搜到这家评分还挺高的，于是就定了位置晚上跑了过去。在点好菜开始吃餐前的面包时就被面包的口感和味道惊叹道，配上它们家的黄油吃的我都不想吃剩下的菜了。头餐的龙虾汤也很好喝。最后我们几个人一致决定走的时候再点一个面包外带当第二天早餐。

未完待续

The ARAKI – 位于伦敦的米其林三星寿司店

2017-12-30T00:00:00+00:00

三年前， Araki为了照顾来英国读书的女儿关闭了位于东京的米其林三星餐厅，举家来到了伦敦，在Savile Row附近重新开启了他的事业。这家餐厅于2015年荣获米其林二星，并与今年重回三星顶峰。我和内人2015年的时候有幸享受到这如艺术品般的美食。

Araki师傅:

这家餐厅每周二至周日营业，每天只接带两波客人，寿司台只能容下10位客人，价格为£300（不含酒水，不含服务费）。 Araki师傅在寿司台前现场为每一位客人准备食物，每一道菜都会给客人进行讲解。我们惊叹于Araki师傅那如同舞台表演般的技艺，更加沉迷于那不可自拔的美食。说实话，我并不是很喜欢吃生鱼，不喜欢那种口感。但是从我舌头接触到Araki师傅准备的美食之后，我就知道我深深地爱上了这家餐厅。

废话少说，直接上图：

时间太久远，记不住这道菜是什么了

这个我记得是鲍鱼

金枪鱼和白松露

Araki师傅在做寿司

银鳕鱼

金枪鱼寿司

虽然价格看起来比较高，但是我认为物超所值。这个用餐体验从进入餐厅开始到结束后离开餐厅都是无与伦比的。我还记得Araki师傅会送每一位客人离开餐厅然后在餐厅门口鞠躬直到客人离开餐厅所在的街区。这种感受是震撼地，让人不得不敬佩Araki师傅。

爱吃的朋友一定不要错过这家。我现在正在努力在学校做兼职助教以期可以早日再去大饱口福。

The Araki

12 New Burlington Street
London W1S 3BH
United Kingdom
Telephone: +44(0)20 7287 2481