评测中心经理
25-45k·16薪
成都
5-10年
统招本科
招1人
8月7日更新
招聘助理
· 杭州奈睿信息技术有限公司
简历处理快
聊一聊
- 职位介绍
- 工作职责
1.负责公司大模型及AI产品链路的评测体系建设与技术管理工作,推动评测驱动的开发迭代闭环;
2.负责评测数据构建、清洗、回流机制设计,实现“上线产品-日常观测-问题发现-数据回流-优化迭代”的正向循环;
3.建设高可用、可配置的评测系统平台,支持评测任务管理、指标分析、badcase分拣、多轮对话模拟及Mock用户能力;
4.结合AI产品链路(意图、提槽位、改写、检索、知识召回、模型入参、最终结果等),搭建自动化评测能力,覆盖幻觉、C端样式、低级问题CICD围栏测试等场景;
5.负责标注平台建设,提供灵活的标注模板、任务配置、审核质检流程,支持人工标注效率统计与质量管控;
6. 牵头评测能力搭建,覆盖业务评测、语音评测、图文多模态、仿真能力等,支撑平安万佛等核心服务的质量保障与持续优化;
7.负责评测团队管理、人员培养及跨团队协作,推动评测结果落地到产品改进。
任职资格
1.重点大学及以上学历,5年以上AI/大模型相关工作经验,2年以上团队管理或技术Lead经验优先;
2. 具备扎实的工程开发基础,精通Python,熟悉分布式系统、Al评测框架,有实际大模型评测项目落地经验;
3.有AI产品链路评测经验,熟练掌握评测数据构建、回流机制、badcase分析及自动化评测能力建设;
4.熟悉主流大模型评测方法论,包括但不限于Agent评测、RAG评测、多模态评测、Mock用户多轮对话模拟等;
5. 有金融/保险领域AI应用评测经验优先;
6.具备优秀的沟通协作能力、团队管理经验、敬业精神和快速学习能力;
7.较强的抗压能力和执行力,能够推动跨部门评测-开发-业务正向循环落地。
- 其他信息
- 语言要求:不限
- 行业要求:计算机软件
猎聘温馨提示:
- 1. 如您发现平台内招聘方存在以下违规行为的,请立即举报
-
- · 扣押您的身份证件或者其他证件;
- · 要求您提供担保人、担保金或者以其他名义向您收取财物( 如培训费、体检费、资料费、置装费、押金等);
- · 强迫您入股或者向您集资;
- · 以招聘名义牟取不正当利益;
- · 发布虚假招聘广告信息;
- · 工作时长违反劳动法规定;
- · 存在其他损害您的合法权益的行为。
- 2. 如您应聘的岗位属于涉外劳务合作/海外岗位的,请务必核实招聘方对外劳务合作资质取得情况,同时注意自身资金安全,防范招聘欺诈。
- 了解更多安全防范知识>
- 3. 本平台招聘方不向求职者提供任何收费服务。
查看全部
猜你喜欢
某成都互联网公司
互联网
战略融资
100-499人
某成都电子/半导体/集成电路公司
电子/半导体/集成电路
A轮
100-499人
某国内大型基金/证券/期货公司
基金/证券/期货
战略融资
1000-2000人
某国内大型计算机软件公司
计算机软件
5000-10000人
某北京世界500强上市公司
运营商/增值服务
已上市
10000人以上
某深圳银行上市公司
保险
已上市
10000人以上