Replicate framework

REPLICATE FRAMEWORK
Phoenix Su

Replicate – 資料格式
Static
Dymanic (1)
Dymanic (n)
Dymanic (3)
Dymanic (4)
Dymanic (2)

Replicate
 資料結構
 分為 Static 與 Dynamic
 Static 為靜態可覆蓋的資料，例如Quote
 Dynamic 為動態有序號的資料，例如Tick

Replicate
 資料編號
 Dynamic 資料會根據流入的順序編號
 編號必從 0 開始，不會中斷
 下游連上後跟上游回報目前手上資料的 date 與
編號
 上游根據下游手上的編號，將資料倒給下游以
將資料補齊

Replicate – 資料傳輸
上游
(資料到 N)
下游
(資料到 M)
R-S
M+1
M+2
N
R-E
N+1
N+2

Replicate
 資料編號
 例如下游手上資料編號為 5，上游目前資料到8
 下游連上時送出 5
 上游則送出 R-Start -> 6 -> 7 -> 8 -> R-End
 下游可根據 R-Start 得知進入 Replicate State 而
不啟動服務
 下游可根據 R-End 得知 Replicate 完成，開始服
務

Replicate
 Data Update
 若上游送資料過來，則直接往下游打
 若下游在 Replicate 狀態，則 Queue 在 R-End 後
面，待 Replicate 完成後送出
 Static 永遠只會有最新的一份，Dynamic 則是根
據流水號保存

Store
 分為 Sender / Receiver / StoreObject /
Extension
 Sender 用來加入 StoreObject
 儲存的資料都必須繼承 StoreObject
 Receiver 會收到 StaticUpdate 與
DynamicUpdate
 Extension 提供 AP 存放較為接近 AP 使用格
式的資料

Store
 StoreObject 包含 encode / decode，需由使
用人 implement
 Receiver 包含 StaticUpdate 與
DynamicUpdate，由使用人 implement

Store
 資料應儲存在 Local Disk，但為了加快速度，
應使用 LRU 適度的將資料放在 memory 中
 同理，資料會先寫入 memory，再由
Background thread 寫入 Disk

Store - extension
 Extension 提供方法可讓 AP 存放自己的資料
 Extension 的資料不會再 Replicate 出去
 對 Extension 寫入資料時，需提供 category
參數，可將較常用的資料擺在同一個
category 以維持較好的效能

P2P
 以 Node 記錄可用節點，稱為 NodeList
 Node 彼此分享 NodeList，也彼此同步
 當下游與上游連上，會把上游的 NodeList
同步到自己身上

P2P
 除了 Root 之外，其餘節點在找到上游之前，
不會開放下游來連線
 尋找上游時，會對所有 NodeList 發出
Knock，對方應回應 Answer，根據回應的
時間長短來判斷要連往哪台上游
 尋找上游的邏輯為同網域優先，再比較回
應速度

P2P
 當下游連上上游，由上游對自己所連結的
所有節點(包括上游與下游)送出 AddNode
 當上下游斷線，由上游對自己所連結的所
有節點送出 RemoveNode

P2P
 當上下游斷線，下游會將自己的所有下游
斷線，此時所有的 Leave Node 會重新洗牌
 初次上線或 NodeList 遺失時，對 Root 索取
NodeList，找到上游後則與上游的 NodeList
同步

Thinking
 是個 Library，可附著在任何 Application 上，
因此要盡量輕且薄
 若時間不足，先做 Replicate 或是 Replicate
+ Store，固定上游即可
 No configuration file
 System name(for double check)

Replicate framework

More Related Content

Replicate framework