flyzy博客
查询十几个g的 txt的话
五分钟 速度还行
文本查询.zip
(45.73 KB, 下载次数: 97)
昨天 16:42 上传
点击文件名下载附件
山西省网友说：打个最简单的比方来说明基本思想，WB裤子，目标是实现输入id查手机号
把这些id直接(或者hash后)除以某个数取余数，比如除以128，取到的余数分布于0~127
根据余数把数据存进不同的数据表，比如weibo_0，weibo_113什么的，数据被分成了128份
查询时对输入的id同样除以128取余数，拿余数直接去对应的表里查询
这么一番处理下来平均查询速度理论上是不是比遍历快了128倍？
江苏省网友说：谢谢分享，先下了保存！
湖南省网友说：昨天需要的时候没人发，搞完索引了各种搜索工具
湖北省网友说：make
青海省网友说：我也是今天才找到工具的
河南省网友说：今天用 node.js 撸了个命令行，5E 行搜一遍大概 30 秒
山东省网友说：非常感谢，谢谢楼主分享！
湖南省网友说：牛 这个要五分钟
浙江省网友说：发一下呀 大佬
江西省网友说：之前在论坛里发过 node.js 的项目，好多人不知道 npm 啥的，有点心累…
吉林省网友说：我这快分表索引完了，全部弄好后查询速度应该比较快，遍历效率太低了
江西省网友说：5分钟也太久了
贵州省网友说：咋弄的
湖北省网友说：打个最简单的比方来说明基本思想，WB裤子，目标是实现输入id查手机号
把这些id直接(或者hash后)除以某个数取余数，比如除以128，取到的余数分布于0~127
根据余数把数据存进不同的数据表，比如weibo_0，weibo_113什么的，数据被分成了128份
查询时对输入的id同样除以128取余数，拿余数直接去对应的表里查询
这么一番处理下来平均查询速度理论上是不是比遍历快了128倍？
江西省网友说：我想试试直接塞 Redis 不知道可不可行，反正现在内存大，而且不需要 like 查询
江西省网友说：楼主是土司的人吗？
辽宁省网友说：你试试吧，我手头没有能塞redis的机器
湖北省网友说：吐司啥意思
网上随便找的 好用就分享
台湾省网友说：机顶盒n1用grep三分钟跑一遍
甘肃省网友说：清洗一下存es，秒级查询
甘肃省网友说：id、手机号 加索引不就行啦 直接hash 定位到存储位置
云南省网友说：分表和索引又不是只能二选一，分完表再走索引毫无疑问更快啊
山西省网友说：说实话你们分表其实没啥意义，人家数据库做索引的目的就是用来避免全表扫描，还省得你们去分表，说查询数据，数据库比你们专业多了。自己反思一下自己的SQL有无问题吧。
