SlowDash で Redis を使う

$ pip3 install redis
Collecting redis
  Downloading https://files.pythonhosted.org/packages/d6/f6/19237b28c632935c7359bddf703395ba13bbd134fc5e2eb297c4c120398c/redis-4.3.6-py3-none-any.whl (248kB)
    100% |████████████████████████████████| 256kB 2.4MB/s 
Collecting typing-extensions; python_version < "3.8" (from redis)
  Downloading https://files.pythonhosted.org/packages/45/6b/44f7f8f1e110027cf88956b59f2fad776cca7e1704396d043f89effd3a0e/typing_extensions-4.1.1-py3-none-any.whl
Collecting importlib-metadata>=1.0; python_version < "3.8" (from redis)
  Downloading https://files.pythonhosted.org/packages/a0/a1/b153a0a4caf7a7e3f15c2cd56c7702e2cf3d89b1b359d1f1c5e59d68f4ce/importlib_metadata-4.8.3-py3-none-any.whl
Collecting packaging>=20.4 (from redis)
  Downloading https://files.pythonhosted.org/packages/05/8e/8de486cbd03baba4deef4142bd643a3e7bbe954a784dc1bb17142572d127/packaging-21.3-py3-none-any.whl (40kB)
    100% |████████████████████████████████| 40kB 7.2MB/s 
Collecting async-timeout>=4.0.2 (from redis)
  Downloading https://files.pythonhosted.org/packages/d6/c1/8991e7c5385b897b8c020cdaad718c5b087a6626d1d11a23e1ea87e325a7/async_timeout-4.0.2-py3-none-any.whl
Collecting zipp>=0.5 (from importlib-metadata>=1.0; python_version < "3.8"->redis)
  Downloading https://files.pythonhosted.org/packages/bd/df/d4a4974a3e3957fd1c1fa3082366d7fff6e428ddb55f074bf64876f8e8ad/zipp-3.6.0-py3-none-any.whl
Collecting pyparsing!=3.0.5,>=2.0.2 (from packaging>=20.4->redis)
  Downloading https://files.pythonhosted.org/packages/6c/10/a7d0fa5baea8fe7b50f448ab742f26f52b80bfca85ac2be9d35cdd9a3246/pyparsing-3.0.9-py3-none-any.whl (98kB)
    100% |████████████████████████████████| 102kB 9.0MB/s 
Installing collected packages: typing-extensions, zipp, importlib-metadata, pyparsing, packaging, async-timeout, redis
Successfully installed async-timeout-4.0.2 importlib-metadata-4.8.3 packaging-21.3 pyparsing-3.0.9 redis-4.3.6 typing-extensions-4.1.1 zipp-3.6.0

$ python3
Python 3.6.8 (default, Nov 16 2020, 16:55:22) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import redis
>>> r = redis.Redis()
>>> r.ping()
True
>>>

Ubuntu 20.04, 2023 年 6 月 6 日

Redis 本体 (Redis Stack)

$ curl -fsSL https://packages.redis.io/gpg | sudo gpg --dearmor -o /usr/share/keyrings/redis-archive-keyring.gpg
$ sudo chmod 644 /usr/share/keyrings/redis-archive-keyring.gpg
$ echo "deb [signed-by=/usr/share/keyrings/redis-archive-keyring.gpg] https://packages.redis.io/deb $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/redis.list
$ sudo apt-get update
$ sudo apt-get install redis-stack-server

Python ライブラリ

SlowDash

Python インストール

SlowDash インストール

動作確認

テストデータの生成

以下のダミーデータ生成スクリプトは，既存の Redis データがあるとその内容と干渉する可能性があります．すでにデータがある場合はこの手順をスキップして，手持ちのデータを使う方がいいです．

SlowDash に入っている Python ライブラリ SlowPy を使う．SlowPy は Python パッケージだけれど，今回はインストールせずに使うので，環境変数を設定する．それをする bash のスクリプトを source する：

$ source PATH/TO/SLOWDASH/bin/slowdash-bashrc

$ cd PATH/TO/SLOWDASH/system/client/test
$ ./test-redis.py
[{'key': 'test_graph_01'}, {'key': 'test_histogram_01'}]
[{'key': 'ch00', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch10', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch14', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch04', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch15', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch03', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch11', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch02', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch09', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch08', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch13', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch05', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch06', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch01', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch07', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'ch12', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}]
[{'key': 'test_graph_02', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}, {'key': 'test_histogram_02', 'totalSamples': 1, 'firstTimeStamp': None, 'lastTimeStamp': None, 'retentionTime': 3600000}]

SlowDash の実行テスト

上記データ生成コマンドを走らせたまま別ウィンドウで SlowDash を走らせる：

$ cd PATH/TO/SLOWDASH/Projects/Test_Redis_Simple
$ slowdash channels
[{"name": "Status", "type": "tree"}, {"name": "test_graph_01", "type": "graph"}, {"name": "test_histogram_01", "type": "histogram"}, {"name": "ch00", "type": "timeseries"}, {"name": "ch10", "type": "timeseries"}, {"name": "ch14", "type": "timeseries"}, {"name": "ch04", "type": "timeseries"}, {"name": "ch15", "type": "timeseries"}, {"name": "ch03", "type": "timeseries"}, {"name": "ch11", "type": "timeseries"}, {"name": "ch02", "type": "timeseries"}, {"name": "ch09", "type": "timeseries"}, {"name": "ch08", "type": "timeseries"}, {"name": "ch13", "type": "timeseries"}, {"name": "ch05", "type": "timeseries"}, {"name": "ch06", "type": "timeseries"}, {"name": "ch01", "type": "timeseries"}, {"name": "ch07", "type": "timeseries"}, {"name": "ch12", "type": "timeseries"}]

ちゃんとデータが見えているので，ポート番号を指定して SlowDash を走らせる：

$ slowdash --port=18881

$ firefox http://localhost:18881/

右上の Slow-Plot にある redis-test をクリックしてデータパネルを表示する：

使い方

プロジェクト設定

動作テストに使った Projects/Test_Redis_Simple の SlowdashProject.yaml にあるように，Redis サーバのアドレス，ポート番号とデータベース番号を指定するだけで良い．

slowdash_project:
  data_source:
    url: redis://localhost:6379/1

複数のデータベース番号を使いたいときは，data_source を配列にできる．ただし，これは省略形式で，正式には，以下のようにデータ形式ごとにエントリを作る．こうするとよりきめ細かくパラメータを設定できる．

slowdash_project:
  name: RedisTest
  title: Redis Test, Simple version

  data_source:
    type: Redis
    parameters:
      url: redis://localhost:6379/
      hash: { db: 1 }
      time_series: 
        - db: 2
        - db: 3
          suffix: '.second_TS'
      object: { db: 1 }

エントリ名	データ
`hash`	Redis ハッシュ値が SlowDash の Tree として読まれる
`time_series`	Redis TS 値が SlowDash の TimeSeries として読まれる
`object`	Redis JSON 値が SlowDash の Histogram / Graph / etc. として読まれる
`object_time_series`	Redis TS と Redis JSON を組み合わせた SlowDash 形式でオブジェクトの時系列が格納されている場合

複数のデーターベース間でキーの重複がある場合は，suffix パラメータを指定すると，SlowDash チャンネル名にサフィックスが付いて区別できる．

データ形式

時系列データ

Redis TimeSeries で記録したデータは自動で検出され，チャンネルリストに表示される．

ハッシュ値

Redis の通常の Key-Value でハッシュ値を記録した場合，SlowDash の Tree 型として取り込まれる．動作テスト例の左上のパネル．

ヒストグラムとグラフ (最新値のみ保持の簡単な場合)

Redis JSON を使って特定の構造の JSON オブジェクトを記録すると SlowDash にヒストグラムやグラフとして認識される．

import redis
r = redis.Redis('localhost', 6379, 1)
hist = {
  'bins': { 'min': 0, 'max': 100 },
  'counts': [ 3, 5, 8, 14, 11, 3, 6, 4, 4, 1 ]
}
r.json().set('hist00', '$', hist)

あるいは，普通の Key-Value に，JSON 文字列で保存しても良い (C++ とかからならこちらの方が便利かも)：

import redis
r = redis.Redis('localhost', 6379, 1)
hist = '''{
  "bins": { "min": 0, "max": 100 },
  "counts": [ 3, 5, 8, 14, 11, 3, 6, 4, 4, 1 ]
}'''
r.set('hist00', hist)

ヒストグラム

{ 
    "bins": {"min": MIN, "max": MAX}, 
    "counts": [C0, C1, C2, ...] 
}

グラフ

{ 
    "labels": [ XLABEL, YLABEL ],
    "x": [x0, x1, x2, ...],
    "y": [y0, y1, y2, ...],    
}

それ以外

ヒストグラムやグラフの時系列

Redis TimeSeries と Redis JSON を組み合わせて実現されている．構造が面倒なので，SlowPy ライブラリを使うのが便利だと思う．

import sys, os, time
import numpy as np
import slowpy as slp
    
datastore = slp.DataStore_Redis(host='localhost', port=6379, db=2, retention_length=3600)
histogram = slp.Histogram('test_histogram_01', 100, -10, 10)

while True:
    for i in range(100):
        h.fill(np.random.normal(5, 2))

    # これ
    datastore.write_object_timeseries(histogram)
    
    time.sleep(1)

現時点では，通常の時系列データとヒストグラムやグラフの時系列データは同じデータベースに共存できないので，この例ではデータベース番号 2 を使用している．

ちなみに，write_object_timeseries() の代わりに write_object() とすると，時刻情報なしで最新版だけを同じキーで保存するようになる（上記の例）．

できること

インストール

Redis

CentOS7, 2023 年 6 月 6 日

Redis 本体 (Redis Stack)

Python ライブラリ

Ubuntu 20.04, 2023 年 6 月 6 日

Redis 本体 (Redis Stack)

Python ライブラリ

SlowDash

Python インストール

SlowDash インストール

動作確認

テストデータの生成

SlowDash の実行テスト

使い方

プロジェクト設定

データ形式

時系列データ

ハッシュ値

ヒストグラムとグラフ (最新値のみ保持の簡単な場合)

ヒストグラム

グラフ

それ以外

ヒストグラムやグラフの時系列