zhh-4096
2020-01-03 00:07:08 发布
我对物联网的数据处理问题没什么兴趣。类似电信和移动这类运营商的基站的MR数据算不算物联网数据处理的场景？这类项目我做过两个了，一个存hadoop里，原始数据全存，做批量分析；

另一个存单机版的H2数据库里，入库时就按各类业务算法提前处理了，不存原始数据，只存预处理后的数据，能把每天几百亿的原始数据（基本上是数字类型的字段）预先处理后得到几百万的规模，然后再建索引进行二次分析查询即可。一台普通的服务器就能搞定所有需求了！

这类场景入库丢几条数据无关紧要，不管你是用hadoop还是现在时髦的时序数据库存这些原始数据都是件简单的事，我反而觉得按业务需求做预处理那种方案更省钱且稍微有一点点难度。