易明建模 官方版v20220420

易明建模是一键式智能数据建模工具，建模流程完全自动进行。一键式建模，又快又好！无需数据科学家即可建模。传统的手工建模有着诸多的缺点，并且效率很低，比如：探索数据、数据噪音、时间特征、高基数变量、模型需求多、如何有效评估模型、非正态分布、标准化、LR, RF,GBDT…..使用哪种算法、项目周期长、缺失值、参数配置等等。智能建模改变应用模式：业务用户主导，应用过程中随时随地建模。

软件功能

【数据源】

1. 本地数据文件

智能建模支持txt、csv等格式的数据文件。

选择文件后，可以定义数据文件的参数配置。

下一步，可以定义变量类型、日期格式和选出状态。

2. 数据库

在数据源窗口中，可以定义JDBC和ODBC两种数据源连接。

【数据探索】

1. 基本特征

导入数据以后，显示了数据的基本特征：

目标变量是Survived（需要用户设置），有12个变量，891条记录。

自动解析了各个变量的类型和推荐的选出状态。

2. 离散变量统计

离散变量包括单值变量、二值变量和分类变量。

缺失率：缺失值在全部数据中的占比。

势：离散变量可取值集合的成员数量。

饼图直观显示了各分类的占比。

【预处理】

1. 自动预处理

智能建模的预处理过程集成在建模的流程中，一键式自动预处理。

2. 预处理报告

建模结束后可以导出模型报告，描述了预处理执行了哪些动作。

3. 预处理流程

（1）检查变量值域

检查并记录所有变量的值域，若测试数据出现训练数据没有的分类或者超出数值范围，进行针对性的处理。

（2）时间日期变量处理

检查所有时间日期型变量，创建若干常用的衍生变量。并检测时间日期变量的关联性，创建多日期联动的衍生变量。

（3）缺失值信息提取

若数据存在缺失值，提取并记录缺失值模式，将缺失值所表现出的行为特征转换为衍生变量加以利用。

（4）缺失值填补

若数据存在缺失值，利用简单或个性化智能算法，填补缺失值。

（5）分类变量降噪

针对分类变量可能存在的噪音，例如极少数分类，异常分类，疑似错误分类等情况，进行针对性处理。

（6）分类变量数值化

将分类变量转换为可正常进行运算的数值型变量。主要方式是dummy variable和平滑化，由算法智能判断。

（7）纠偏

针对部分存在正态性假设的模型，对高偏态变量进行数学变换，使偏度回到0附近，满足模型假设。

（8）异常值处理

探测并识别可能存在的异常值，并进行针对性处理。

（9）变量筛选

以较宽松的门槛，剔除掉对建模无用的变量，降低时间成本和模型复杂度。

（10）标准化/归一化

数据标准化/归一化，消除口径差异。有利于神经网络等模型的寻优求解。

（11）平衡样本

对于二分类数据，若正负样本比例严重不均衡，会按照指定的比例配平，并智能重采样建模。

4. 手动预处理

选择变量

根据变量类型去除一些无关的变量。例如ID和长文本，没有缺失值的单值变量等。

衍生变量

用变量姐妹、配偶数量"SibSp"和 变量父母、子女数量"Parch"相加得到家庭成员数量"Family"。可以看到家庭成员在1-3人时幸存率较高。

预处理选项

在模型选项中可以定义是否数据预处理和是否智能填补。

如果数据已经进行过预处理，可以取消数据预处理。

智能填补可以更好的对缺失值进行补缺，但是会消耗更多的硬件资源和时间，当数据量很大时不建议智能填补。不勾选时会进行简单填补。

更新内容

python版本升级到3.9

升级依赖包兼容性到最新版

修复ubuntu24.04环境下无法打开建模ide的问题

修复个别模型异常调用cuda的问题

优化性能，修复潜在bug