クリプト

ALISの人気記事ランキング作ろうとした話

Mt.ブルー's icon'
  • Mt.ブルー
  • 2018/05/06 05:04
Content image

Linux環境でALISの人気記事ランキングを作成するための技術記事です。

背景

現状ALISには検索機能もなければランキング機能もないみたいです。

トップページは人気記事と新着記事に分かれています。人気記事というのはどういうアルゴリズムで表示されているのかよく分からず、少なくとも単純ないいねランキングやトークン獲得ランキングでないことは確かです。

これは死ぬほどポジティブに言えば、いじり甲斐があると言えます。なければ作ってしまえばいいわけです。鳴かぬなら作ってしまえホトトギスロボットです。

ということでいいねとトークンの獲得数ランキングを作成していきます。

作成

まずは対象とするページのURLが必要です。ぱっと見た感じALISのトップページはAJAXで表示されており、単純にアクセスしてURLを取得していくのはあまり得策でないように思えます。そもそも現状何件の記事があるのかもわかりません。あまり記事が多くなると厄介です。

そこで既にGoogleにキャッシュされている記事を対象にしていきます。Googleで検索すると現時点で745件の記事がキャッシュされています。Linuxのgooglerコマンドの結果をgrepに流し込むとなぜか799件が取得できました。これをファイルに保存しておきます。

次に各ページにアクセスし、スクレイピングを実行するプログラムを書きます。curlで各ページをバッファファイルに溜め込み、このバッファファイルに対して同じくgrepで欲しいデータを取得していきます。正規表現でタイトル、いいね獲得数、トークン獲得数を抽出するパターンを作成します。できました。わりと素直なHTMLなので簡単に取得できます。

あとは予め取得したURLに対してシェルスクリプトのwhile-do文で順番にスクレイピングを実行するように構成します。ALISサーバーに負荷を掛けすぎると警察のお世話になるリスクがあるので、1秒くらいのsleepを挟んでおきます。

完成しました。

結末

ふとここであることが頭によぎります。サイトによっては利用規約があったりします。無駄に長くてほとんどの人が読まずに同意ボタンを押すアレです。

そこで第10条(禁止事項)の欄を確認すると…

Content image

しっかり禁止されていました。

ということでせっかく作ったスクリプトは無駄になってしまいました。やはりホトトギスは泣くまで待たなければならないようです。

公開日:2018/05/06
獲得ALIS:11.96
Mt.ブルー's icon'
  • Mt.ブルー
  • @ragecoin
ALIS用のChrome拡張機能を開発して遊んでます。twitterは@make_cryptoというIDでやっています。

投稿者の人気記事
コメントする
コメントする
こちらもおすすめ!
Eye catch
クリプト

【初心者向け】$MCHCの基本情報と獲得方法

Like token Tip token
32.32 ALIS
Eye catch
クリプト

【初心者向け】JPYCを購入して使ってみました!

Like token Tip token
30.03 ALIS
Eye catch
クリプト

Eth2.0のステークによるDeFiへの影響を考える。

Like token Tip token
44.10 ALIS
Eye catch
クリプト

ジョークコインとして出発したDogecoin(ドージコイン)の誕生から現在まで。注目される非証券性🐶

Like token Tip token
38.31 ALIS
Eye catch
クリプト

17万円のPCでTwitterやってるのはもったいないのでETHマイニングを始めた話

Like token Tip token
46.60 ALIS
Eye catch
クリプト

NFT解体新書・デジタルデータをNFTで販売するときのすべて【実証実験・共有レポート】

Like token Tip token
121.79 ALIS
Eye catch
クリプト

2021年1月以降バイナンスに上場した銘柄を140文字以内でざっくりレビュー(Twitter向け情報まとめ)

Like token Tip token
38.10 ALIS
Eye catch
クリプト

Uniswap(ユニスワップ)で$ALISのイールドファーミング(流動性提供)してみた

Like token Tip token
59.99 ALIS
Eye catch
クリプト

バイナンスの信用取引(マージン取引)を徹底解説~アカウントの開設方法から証拠金計算例まで~

Like token Tip token
3.50 ALIS
Eye catch
クリプト

コインチェックに上場が決まったEnjin Coin(エンジンコイン)コインを解説

Like token Tip token
21.49 ALIS
Eye catch
クリプト

【第8回】あの仮想通貨はいま「テレグラム-TON/Gram」

Like token Tip token
69.90 ALIS
Eye catch
クリプト

Polygon(Matic)で、よく使うサイト(DeFi,Dapps)をまとめてみた

Like token Tip token
236.30 ALIS