关于架构(续)



关于架构(续)

上一篇中,谈了一下我所理解的架构。其中提到了一条基本原则:Don't communicate by share memory, share memory by communicate instead。并说了一下关于对归属的理解。这一篇中谈谈另一个基本原则:移动计算而不是移动数据。

最早接触到这个概念应该是在近来炒得很火的大数据中,mapreduce就是典型代表。数据是分布存储在各个机器上的,为了使用这些数据进行计算,并不是移动数据去适配计算,而是移动计算,map过程实质就是移动计算。因为这种条件下移动计算的成本是比较低的。

mapreduce是受lisp语言启发的,说到lisp,还有另一种形式的移动计算的魔力,这个应该归功于它的代码即数据。就是RPC只需要把代码发过去在另一端运行就可以实现了,想远程那边跑什么计算,就发送什么样的代码过去。其实这种能力也不仅仅限于lisp,应该说带虚拟机的脚本语言都可以实现这种性质。

将这一点使用到极致,令我感触最深的,应该是剑三中的插件系统(魔兽世界没玩过)。剑三中的做法,应该跟云风博客描述得着不多:每个玩家在服务器端都对应了一个lua虚拟机的agent。插件是用lua语言写的,有了agent,那么插件系统就顺理成章了,客户端直接把lua代码发送给agent,agent执行这些代码,把结果告诉客户端--瞧,这就属于典型的移动计算而不是移动数据。

按照移动数据的做法,就是一个一个的封包的交互,客户端想要某东西的计算结果,而计算依赖于数据(状态是在服务端),数据不在本地,所以发消息包的方式就像是把输入数据发过去,计算原本就在另一边(不景移动过去的),然后再把输出数据发回来。用这种方式显然无法实现也剑三那样的插件系统的。

而使用移动计算的做法,我需要对数据进行计算的结果,那么我把要执行的代码发到另一端就行了,计算自然是跟着代码过去的。


PS,在我接下来想做的东西中,用goroutine实现的agent,没有lua虚拟机,不能接受计算。但是我又想要类似这种插件系统的能力,因为这样客户端写起来会方便很多。我初步打算这一块用RPC实现。


Read full article from 关于架构(续)


No comments:

Post a Comment

Labels

Algorithm (219) Lucene (130) LeetCode (97) Database (36) Data Structure (33) text mining (28) Solr (27) java (27) Mathematical Algorithm (26) Difficult Algorithm (25) Logic Thinking (23) Puzzles (23) Bit Algorithms (22) Math (21) List (20) Dynamic Programming (19) Linux (19) Tree (18) Machine Learning (15) EPI (11) Queue (11) Smart Algorithm (11) Operating System (9) Java Basic (8) Recursive Algorithm (8) Stack (8) Eclipse (7) Scala (7) Tika (7) J2EE (6) Monitoring (6) Trie (6) Concurrency (5) Geometry Algorithm (5) Greedy Algorithm (5) Mahout (5) MySQL (5) xpost (5) C (4) Interview (4) Vi (4) regular expression (4) to-do (4) C++ (3) Chrome (3) Divide and Conquer (3) Graph Algorithm (3) Permutation (3) Powershell (3) Random (3) Segment Tree (3) UIMA (3) Union-Find (3) Video (3) Virtualization (3) Windows (3) XML (3) Advanced Data Structure (2) Android (2) Bash (2) Classic Algorithm (2) Debugging (2) Design Pattern (2) Google (2) Hadoop (2) Java Collections (2) Markov Chains (2) Probabilities (2) Shell (2) Site (2) Web Development (2) Workplace (2) angularjs (2) .Net (1) Amazon Interview (1) Android Studio (1) Array (1) Boilerpipe (1) Book Notes (1) ChromeOS (1) Chromebook (1) Codility (1) Desgin (1) Design (1) Divide and Conqure (1) GAE (1) Google Interview (1) Great Stuff (1) Hash (1) High Tech Companies (1) Improving (1) LifeTips (1) Maven (1) Network (1) Performance (1) Programming (1) Resources (1) Sampling (1) Sed (1) Smart Thinking (1) Sort (1) Spark (1) Stanford NLP (1) System Design (1) Trove (1) VIP (1) tools (1)

Popular Posts