必读项目说明.txt

2021软件杯——NewsSort 新闻智分系统

相关项目使用演示：
https://www.bilibili.com/video/BV1x34y1D7U6/
https://www.bilibili.com/video/BV1vF411h7QM/

相关项目教程地址：
https://aistudio.baidu.com/aistudio/projectdetail/1981601
https://aistudio.baidu.com/aistudio/projectdetail/2819739

一.项目简介：
2021软件杯A7-新闻文本分类算法赛题项目分享（赛题传送门:http://www.cnsoftbei.com/plus/view.php?aid=599）。

本项目基于PaddleHub通过预训练模型ERNIE-Tiny在整合与爬取的新闻10分类数据集上进行微调完成模型训练，可实现精细的新闻长文本10分类任务：财经、房产、教育、科技、军事、汽车、体育、游戏、娱乐和其他10个类别。最后基于PyQt5完成GUI可视化界面演示并基于VUE+FastAPI完成该项目的web端部署。

二.源码文件说明：
1.model文件夹存放基于PaddleHub训练好的模型参数model.pdparams。
2.NewsSort-Pyqt文件夹存放基于Pyqt5完成的项目可视化界面，支持单条和批量新闻文本分类。
3.NewsSort-Web为前后端分离式web界面，前端web界面文件夹为基于VUE+ElementUI搭建的前端界面，后端API服务存放提供API服务的主程序。
4.demo.py为样例程序，通过简单修改数据title+body即可完成单条新闻的分类预测。

三.项目运行说明：
3.1  完成相关环境配置操作：
下载Anaconda,清华镜像地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
注意根据自己电脑的型号选择版本进行下载，安装时勾选上添加环境变量

建议先通过conda create创建一个虚拟环境，再在该环境后完成项目环境配置。
例：
// 创建python3.7版本的虚拟环境，环境名为paddle
conda create –n paddle python=3.7
// 进行创建的虚拟环境，注意后续配置都需要先进入该环境！
activate paddle

// 设置清华源镜像加速
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

首先下载paddle：
该部分根据官方文档（https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/windows-pip.html）进行下载即可。

// 下载其他所需环境依赖包：
pip install -U paddlehub -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install PyQt5
pip install xlrd==1.2.0
pip install sentencepiece
pip install openpyxl

pip install fastapi
pip install uvicorn

3.2 基于PyQt5的GUI界面启动
进入NewsSort-Pyqt文件夹后，运行main.py主程序即可打开可视化界面：
python main.py

# GUI可视化界面使用说明：分为了单条和批量新闻分类两大界面
# 单条新闻分类界面：输入标题和正文，完成输入后点击“新闻文本分类”按钮即可完成预测。
# 批量新闻分类界面：点击“选择excel文件”按钮选择xlsx文件，注意选择的xlsx格式应与给的测试集格式类似（title+content列）。接着输入文件名称、点击“选择输出文件夹”按钮选择要导出的文件夹完成导出路径的设置。最后点击“新闻文本分类"按钮即可完成批量预测！大量文本预测时会比较慢，有GPU环境的话建议使用GPU进行批量预测。项目默认使用的为cpu环境，若对性能要求较高可下载gpu版本的paddle并修改源码中main.py中use_gpu=False为use_gpu=True

3.3  web端项目启动

3.3.1 后端API服务模块启动：
完成环境配置操作后，在命令行窗口通过cd命令切换到“后端API服务”文件夹下，可以看到其下提供API服务的main.py主程序。

接下来命令启动后端API服务：
uvicorn main:app --reload

ps:注意项目默认使用的为cpu环境，若对性能要求较高可下载gpu版本的paddle并修改源码中main.py中use_gpu=False为use_gpu=True

3.3.2 web前端页面模块：
该部分需要先下载node.js（到官网https://nodejs.org/zh-cn/download/进行下载即可)
IDE上为便于调试推荐使用HBuilderX。

在命令行窗口通过cd命令进入“前端web界面”文件夹，
// 使用淘宝的镜像源加速
npm config set registry https://registry.npm.taobao.org
// 下载所需包
npm install 
npm install element-plus --save
npm install unplugin-vue-components
// 运行项目
npm run dev
成功打开后，访问http://localhost:3000/ ，即可打开新闻智分系统web前端界面

// ps:在打开前端项目后，提供后端API服务的程序需要一直挂载着哦！  建议开两个命令行窗口一个运行前端界面模块，一个运行后端API模块。

四.  项目运行过程中遇到难题可以联系作者qq:1075558916，注意备注说明下哦！