一个基于机器学习的新闻标题分类系统源码+数据集+训练好的模型+项目操作说明_本科毕设项目.7z
bert_base中文预训练模型训练NLPCC2017 Task2新闻标题分类数据集的句向量
【环境配置要求】
Python：3.8.13
操作系统：Windows
数据库：MySQL
Web框架：Flask
模型训练：sklearn
1.Anaconda创建虚拟环境
conda create -n Graduation python=3.8
命令行切换到对应目录
2.安装第三方库
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
3.将数据导入数据库
mysql -u root -p --local-infile=1 < D:\Bachelor_Graduation\Bachelor_Graduation.sql
【备注】主要针对正在做毕设的同学和需要项目实战的机器学习、深度学习cv图像识别模式识别方向学习者。
也可作为课程设计、期末大作业。
2022-12-13 13:25:57
6.5MB
谷歌新闻
从 Google 新闻中抓取新闻标题的脚本库，为可读性分析做好准备，并将新闻媒体汇总的结果可视化。 中描述了脚本及其输出。
google_news.py按设定的时间表从 Google 新闻主页上抓取新闻标题和新闻媒体的名称。 示例数据可在google_news.csv中找到。 在所有计划的作业运行后，数据将被清理：格式错误的文本、无意义的结果和重复的记录被重新格式化或删除。 标题的是通过测试评估的，这需要找到的可读性函数。
最后，清洗后的数据在新闻媒体层面聚合。 调用 google_news.R以使用创建结果的可视化。
2022-06-08 09:18:23
942KB
1
近期做简单的新闻客户端界面使用到了Jsoup获取，使用起来特别方便，这也是被我一个学长称为学android网络必学的一个东西，在此也是分享一下自己近期所学。
首先还是给出效果：
上面是通过textview显示的一个从网站上获取的所有内容的显示，下面是通过listview显示一下获取的新闻的标题，如此显示比较便于理解。
MainActivity：
import android.app.Activity;
import android.content.Intent;
import android.net.Uri;
import android.os.AsyncTask;
import and
2022-03-24 11:13:35
445KB
1
相似文档检测
Mission
data.csv中包含了一个新闻标题列表，试通过近似检测方法，通过Jaccard相似度，检测相似文章，将结果保存到csv文件中，不同文章间用空行隔开。
Work
思路：
两个词作为一段来计算，末尾不够截掉
Jaccard相关系数大于0.5则认为两个新闻标题相似
利用并查集将相似的合并在一起
Code
import pandas as pd
import nltk
import numpy as np
class Jaccard:
def __init__(self, _len): # _len 为步长值，语句切分的步长值
self._len
2022-02-26 19:30:27
39KB
1