因为朋友再移动外包公司上班，有手机号码去重删选的需要，朋友用的python，也是用的哈希去重方式，大概1000W手机数据去重处理速度在5到6秒左右，于是乎我也想用易语言实现以下，想试下易语言能否实现大数据的处理以及实现速度，论坛各种哈希表试了个便，最终得出结论，速度最快的是ASM哈希表，1000W处理时间在4到5秒之间，可以说是非常的快的了，但是用哈希表在易语言运行存在一个问题，我实测1000W号码占用内存大约是400多M，也就是说易语言最大能处理不过三四千万的数据，由于易语言是32位的，最大支持内存仅1.7G这样，内存占用到达1.7G就会自动程序崩溃，无法处理上亿的手机号码，不论你内存条有10G还是100G，但是易语言程序最大仅支持1.7G，实在是非常的限制。但是单从处理速度而言，论坛大神ASM哈希表确实是效率极高的了。后面网上看到bitmap处理上亿级别的手机号码处理，于是到易语言论坛查了下，发现还没人实现过，那我就来做下把。在特定的数据处理情况下，使用bitmap方式去重效率就会显得比哈希表去重更加高效，不仅速度有极大的提升，内存占用方面，即使999亿的手机号码，也仅仅占用1.2
2022-01-23 11:04:17
1.55MB
qt 快速加载并动态显示大容量数据能够加载千万行量级的数据。
本工程介绍了如何使用QT的tablewideget快速加载大容量的数据，快速加载千万行文本并且动态显示出来，同时介绍了如何根据鼠标事件而显示不同内容
qt 大数据 动态显示
2022-01-12 18:48:35
75KB
1
mysql千万级数据脚本测试shardingjdbc-course.zip
2021-12-17 11:03:51
187.31MB
1
非常适合该课程的实验作业，功能齐全，包括：各种图形绘制、填充、组合、移动、大小更改、撤销、重构等等还有很多。使用五种以上的设计模式，可塑性强，易于阅读。
2021-12-15 18:35:28
15KB
1
【内容】t100w.sql 以及创建的sql语句，自己修改可以生成1000w数据表。
【注意】建表需要先建库，然后在mysql中运行： source /路径/t100w.sql 即可以导入100万条的数据，表结构如下：
DROP TABLE IF EXISTS `t100w`;
CREATE TABLE `t100w` (
`id` int(11) DEFAULT NULL,
`num` int(11) DEFAULT NULL,
`k1` char(2) COLLATE utf8mb4_bin DEFAULT NULL,
`k2` char(4) COLLATE utf8mb4_bin DEFAULT NULL,
`dt` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
2021-11-23 14:27:14
10.14MB
1
py-elasticsearch-django
EseachDjango文件夹是整个项目的web前引入采用Django框架，调用redis中间间，ES接口，前端为采用框架。
spider文件夹是用scrapy框架抓取几十个小说数据网站
ES接口语法案例：
Rest接口添加
http的put方式
PUT jiechao
{
“settings”:{
“index”:{
“number_of_shards”:5,
“number_of_replicase”:1
}
}
}
Es的文档，索引的CURE操作（增删改查）
索引的初始化，索引类似关系数据库中的数据库
2021-11-22 13:52:46
1.09MB
1
windows下千万级Excel文件分析工具, 支持xlsx和csv两种格式
还有在线帮助网址: http://laohu.jixiangma.net/?page=ana
2021-11-15 14:06:17
2.36MB
1