クリプト

ALISの人気記事ランキング作ろうとした話

Mt.ブルー's icon'
  • Mt.ブルー
  • 2018/05/06 05:04
Content image

Linux環境でALISの人気記事ランキングを作成するための技術記事です。

背景

現状ALISには検索機能もなければランキング機能もないみたいです。

トップページは人気記事と新着記事に分かれています。人気記事というのはどういうアルゴリズムで表示されているのかよく分からず、少なくとも単純ないいねランキングやトークン獲得ランキングでないことは確かです。

これは死ぬほどポジティブに言えば、いじり甲斐があると言えます。なければ作ってしまえばいいわけです。鳴かぬなら作ってしまえホトトギスロボットです。

ということでいいねとトークンの獲得数ランキングを作成していきます。

作成

まずは対象とするページのURLが必要です。ぱっと見た感じALISのトップページはAJAXで表示されており、単純にアクセスしてURLを取得していくのはあまり得策でないように思えます。そもそも現状何件の記事があるのかもわかりません。あまり記事が多くなると厄介です。

そこで既にGoogleにキャッシュされている記事を対象にしていきます。Googleで検索すると現時点で745件の記事がキャッシュされています。Linuxのgooglerコマンドの結果をgrepに流し込むとなぜか799件が取得できました。これをファイルに保存しておきます。

次に各ページにアクセスし、スクレイピングを実行するプログラムを書きます。curlで各ページをバッファファイルに溜め込み、このバッファファイルに対して同じくgrepで欲しいデータを取得していきます。正規表現でタイトル、いいね獲得数、トークン獲得数を抽出するパターンを作成します。できました。わりと素直なHTMLなので簡単に取得できます。

あとは予め取得したURLに対してシェルスクリプトのwhile-do文で順番にスクレイピングを実行するように構成します。ALISサーバーに負荷を掛けすぎると警察のお世話になるリスクがあるので、1秒くらいのsleepを挟んでおきます。

完成しました。

結末

ふとここであることが頭によぎります。サイトによっては利用規約があったりします。無駄に長くてほとんどの人が読まずに同意ボタンを押すアレです。

そこで第10条(禁止事項)の欄を確認すると…

Content image

しっかり禁止されていました。

ということでせっかく作ったスクリプトは無駄になってしまいました。やはりホトトギスは泣くまで待たなければならないようです。

公開日:2018/05/06
獲得ALIS:11.96
Mt.ブルー's icon'
  • Mt.ブルー
  • @ragecoin
ALIS用のChrome拡張機能を開発して遊んでます。twitterは@make_cryptoというIDでやっています。

投稿者の人気記事
コメントする
コメントする
こちらもおすすめ!
Eye catch
クリプト

UNISWAPでALISをETHに交換してみた

Like token Tip token
40.40 ALIS
Eye catch
クリプト

【DeFi】複利でトークンを運用してくれるサイト

Like token Tip token
54.01 ALIS
Eye catch
クリプト

約2年間ブロックチェ-ンゲームをして

Like token Tip token
61.20 ALIS
Eye catch
クリプト

CoinList(コインリスト)の登録方法

Like token Tip token
15.55 ALIS
Eye catch
クリプト

【初心者向け】$MCHCの基本情報と獲得方法

Like token Tip token
32.32 ALIS
Eye catch
クリプト

【第8回】あの仮想通貨はいま「テレグラム-TON/Gram」

Like token Tip token
69.90 ALIS
Eye catch
クリプト

バイナンスの信用取引(マージン取引)を徹底解説~アカウントの開設方法から証拠金計算例まで~

Like token Tip token
3.50 ALIS
Eye catch
クリプト

Uniswap v3を完全に理解した

Like token Tip token
18.92 ALIS
Eye catch
クリプト

Uniswap(ユニスワップ)で$ALISのイールドファーミング(流動性提供)してみた

Like token Tip token
59.99 ALIS
Eye catch
クリプト

【初心者向け】JPYCを購入して使ってみました!

Like token Tip token
30.03 ALIS
Eye catch
クリプト

ジョークコインとして出発したDogecoin(ドージコイン)の誕生から現在まで。注目される非証券性🐶

Like token Tip token
38.31 ALIS
Eye catch
クリプト

NFT解体新書・デジタルデータをNFTで販売するときのすべて【実証実験・共有レポート】

Like token Tip token
121.79 ALIS