产品经理入门（产品经理入门必备术语）



1、做什么? 2、为什么要做，有什么收益和价值？3、业务预期目标、上线期限？

为了方便理解，我们以开发一套筛选薅羊毛用户的产品进行举例说明。

淘宝上买一批手机号，注册新账号。

通过自动薅羊毛的方式（新手礼包、每日签到、周任务等），获取免费券等资源。

夜深人静的时候，使用免费券或积分批量下载数据。

亡羊补牢，犹未晚矣。我们决定开发一套筛选薅羊毛用户的产品，彻底堵住这个缺口。

在领取新手礼包或周任务奖励时，需要用户绑定手机号（薅羊毛时简单卡一下，以免影响正常的用户体验）。

在使用券进行下载操作时，判断是薅羊毛用户的概率，并根据概率高低分成 正常、疑似、高危 三类。

针对“疑似”用户，就触发 极验 或 验证码校验 等逻辑。针对高危用户，就锁定账号，并在激活时要求绑定微信，避免再出现大量偷数据的情况。

①人工智能/大模型学习路线

②AI产品经理入门指南

③大模型方向必读书籍PDF版

④超详细海量大模型实战项目

⑤LLM大模型系统学习教程

⑥640套-AI大模型报告合集

⑦从0-1入门大模型教程视频

⑧AGI大模型技术公开课名额

覆盖率：期望该模型的覆盖率为100%，面向所有用户。

倾向：尽可能找出所有羊毛党，追求高“召回率”，可以接受一定程度的误报。宁可错杀一千，不可放过一个。

上线期限：双十一前得上线，离现在还有半年时间。

如果现有数据不满足需求，要么增加埋点补齐数据，要么想办法获取目标数据，要么替换成其他类似数据。

如果算法支持度不够，可能需要调整需求内容，以便达到更适配的效果。以该项目为例，实时模式的话，可能会对原业务的响应速度有一定影响，所以最后调整为离线模型，每天定时处理前一天的用户数据。

四、数据准备

对于算法同学而言，他只能根据现有的数据分析哪些特征对于模型有用，但是，AI产品经理对业务理解更深，通过判断哪些数据、哪些特征对模型提升有帮助，把自己想到的要点和技术沟通，得到更完善的数据集，再动手去获取数据。

比如该用户是否主要在夜间活动？操作频率是否过高？短时间内同一台终端是否登录过多个用户？用户是否触发过新手引导？

尽可能准确的找到羊毛党用户的特征，对模型质量的提升会有极大的帮助。

获取数据时，主要分为以下三类（有时也可与其他公司联合建模）：

进行外采数据需要注意两点：外采公司的资质审核、采集数据的合法性（需要考虑数据安全和消费者隐私保护）。

五、模型构建
模型构建的具体流程如下：

逻辑回归算法具有计算速度快、可解释性强的优点，适用于解决需求中的多分类问题，而且还可以对用户“为什么封号”的质疑，有较强的解释性。

不同的目标变量，决定了这个模型应用的场景，以及能达到的业务预期。

样本是用来做模型的基础。在选取样本的时候，你需要根据模型的目标、业务的实际场景来选择合适的样本。必须要考虑季节性和周期性的影响。另外，还要考虑时间跨度的问题。建议你选择近期的数据，并结合跨时间样本的抽取，来降低抽样的样本不能描述总体的这种风险。

特征工程是模型构建过程中最重要的部分，如果我们可以挑选到足够优质的特征，不仅可以提升模型性能，还能降低模型的复杂度，（当选择了优质的特征之后，即使你的模型参数不是最优的，也能得到不错的模型性能，你也就不需要花费大量时间去寻找最优参数了，从而降低了模型实现的复杂度。）大幅简化构建过程。

数据和特征决定了模型的上限，而模型和算法只是逼近这个上限而已。

以薅羊毛项目为例，我们可以通过用户是否在夜间活动、操作频率、历史订单、完成活动速度、同一台终端是否登录多个账号等一系列特征，来表达是薅羊毛用户的可能性，这就是建立了薅羊毛用户的特征工程。我们可以通过这些特征来判断用户的可疑程度。

特征过程包括以下四个流程：

1. 数据清洗
   数据清洗主要是算法工程师要做的工作，数据预处理的重要环节，主要是对数据进行重新审查和校验，检查数据一致性、处理无效值和缺失值等。

来解决这些数据可能存在的数据缺失、有异常值或无效值、数据不均衡（比如前面部分数据表现好，后面部分数据表现不好）、单位不一致等问题。

对数据缺失，算法工程师可以通过删除缺失值或者补充缺失值的手段来解决它。

对于数据不均衡的问题，因为数据偏差可能导致后面训练的模型过拟合或者欠拟合，所以算法工程师取数据时需要考虑均衡问题。

2. 特征提取

从原始数据中提取有用的特征，将其转化为一组更具代表性和可解释性的特征。特征提取的目的是减少原始数据的维度，提高数据的表达能力，帮助算法进行更好的完成任务。

一般提取出的特征会有 4 类常见的形式，分别是数值型特征数据、标签或者描述类数据、非结构化数据、关系型数据。

数值型特征：如消费金额、好友人数、浏览页面次数等（相关的业务操作数据、运营数据）。一般来说，会首先提取主体特征，再提取其他维度特征。

标签或描述类特征：如有房、有车、高付费，用来打标签。

非结构化特征：如内容评论，需要判断是否有负面情绪。非结构化数据一般存在于 UGC（User Generated Content，用户生成内容）内容数据中。提取非结构化特征的一般做法就是，对文本数据做清洗和挖掘，挖掘出在一定程度上反映用户属性的特征。

关系型数据特征：如通讯录、收获地址、商品分享（一般分享给亲朋）、LBS位置信息 等维度数据。比如说，在京东购物时，你和一个人在同一收货地址上，如果这个收货地址是家庭地址，那你们很可能就是家人。

3. 特征选择
   特征在选择时主要有覆盖度、IV 值（信息价值）、稳定性等指标。

LV值指的是表示特征对目标预测的贡献程度，LV值有限定条件，一是面向的任务必须是有监督的任务；二是预测的模型必须是二分类模型。

4. 生成训练集和测试集
   算法同学为了给模型训练做最后的准备，需要把数据分成训练集和测试集，他们会使用训练集来进行模型训练，会使用测试集验证模型效果，

3、模型训练

模型训练是通过不断训练、验证和调优，让模型达到最优的过程。就是要找到一个划分条件（决策边界），使得准确率（拟合）最高的同时兼顾稳定性（泛化性能）。这里涉及几个名词需要理解：

决策边界：就是在符合某种条件做出某种选择的条件，根据这个条件可以将结果进行划分。比如说：下午6：00不写完这篇博客我不吃饭，那么写完了就去吃，没写完就不吃。这个条件就是我们说的决策边界。

决策边界分为：线性决策边界和非线性决策边界。下图中，图1为线性决策边界，图2、图3为非线性决策边界。

决策边界曲线的平滑程度和算法训练出来的模型能力息息相关。曲线越陡峭模型的测试精度越准确（可以理解为不是一刀切），但是越陡峭的曲线模型越不稳定。

拟合能力：模型在已知数据上（训练集）表现的好坏

泛化能力：模型在未知数据上（测试集）表现的好

如果想让模型有足够好的拟合能力，就需要构建一个复杂的模型对训练集进行训练，但是模型越复杂就会越依赖训练集的数据，就越可能出现训练集的表现很好，但在测试集上表现差的情况，泛化能力比较差，这种情况叫做“过拟合”。

如果想让提高模型的泛化能力，就要降低模型复杂度，减少对训练集的依赖，但如果过度降低复杂度，又可能导致“欠拟合”的情况。

过拟合：模型把数据学习的太彻底，甚至把噪声数据的特征也学习到了，就导致不能很好的识别未知数据，模型泛化能力下降。训练集表现很好，但是测试集很差。读的是“死书”，并没有真正掌握书里的精髓，自然就无法很好的应用了。产生过拟合的原因一般有：特征过多，模型复杂度过高，样本数据无法代表预定的分类，样本噪音干扰过大等。

欠拟合：模型不能很好的捕捉数据特征，不能很好的拟合数据。在训练集的表现就很差，需要继续努力“学习”。产生欠拟合的原因一般有：模型复杂度过低、特征量过少等。

交叉验证：一种评估机器学习模型性能的有效方法，可以用于选择最佳模型参数、模型选择以及避免过拟合等问题。包括简单交叉验证、留出交叉验证、自助交叉验证等方法。如把测试数据进行进行封箱处理，后随机对一些分箱测试结果取平均值。
4、模型验证
经过复杂的模型训练，我们终于得到了一个所谓的“最优解”，但是怎么证明这个最优解就是真正的最优解呢？我们需要模型验证阶段来确认这个“最优解”的真假。

模型验证一般通过模型的性能指标和稳定性指标来评估。

模型性能，就是模型预测的准确性。

分类模型性能评估：分类模型的预测结果是具体的分类，一般使用召回率、F1、KS、AUC等评估指标，来判断分类模型的性能。

回归模型性能评估：回归模型的预测结果是连续值，一般使用方差和MSE等评估指标，来判断回归模型的性能。

模型稳定性，指的是模型性能可以持续多久，一般使用PSI指标来评估模型的稳定性。

PSI指标，指模型稳定性指标（或称为客情稳定性指标），PSI越小越好，如果PSI>0.25说明稳定性很差。

综上：模型验收环节，AI产品经理需要知道常用的性能指标与稳定性指标，并且知道其合理的范围。AI产品经理对模型验证环节格外关注，需要深入理解评估指标、计算逻辑，并能根据指标的数据判断模型效果是否达标。

5、模型融合

为了提升模型的准确率和稳定性，有时会同时构建多个模型，再把这些模型集成在一起，确保模型有更优的整体表现。

比如薅羊毛项目这种分类模型，可以用最简单的投票方法来融合，票数最多的类别就是最终的结果。

回归模型的融合主要用算术平均或加权平均。

分类模型的融合，主要是取数据值最大的，如Blending和stacking,bagging和bossting。

模型融合的一些基本方法如下，感兴趣可进一步查资料了解。

在模型融合的过程中，产品经理需要考虑好成本问题。

使用的什么算法？为什么选这个算法？

选用了哪些特征。

训练集、测试集的大致情况。

模型的测试结果。

是否达到了预期？哪些指标未达预期？未达预期的原因是什么。

宣讲之后，产品经理需要对模型进行评估和验收，该环节也非常重要，至于如何选择合适的评估指标，后续章节会详细介绍。

业务开发完成相应功能后，和模型接口联调通过，就可以进入常规的走查、测试、上线流程了。

需要注意的是，模型上线后，还需要持续监控模型的效果，若运行一段时间后，发现模型效果有明显衰减，就需要分析原因，并针对性的升级模型。

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【】

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【】

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/jszy-cpgl/65412.html