职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
工作职责
1. 负责大模型评测方案的设计、流程及工具落地,评估模型的benchmark及优劣;
2. 垂直领域、通用领域测试集的收集与构建;
3. 建设数据质量保障机制,包括数据质量检查,容错处理机制等;
4. 框架层性能压测及性能调优优化工作;
任职要求
1.本科及以上学历,3年以上算法测试相关经验,有大模型相关工作经历优先考虑;
2.有机器学习知识背景,熟悉常见的网络模型和算法。熟悉生成式模型的测试与评估;
3.熟悉测试流程,能独立制定测试方案,熟悉使用Jmeter/postman等工具,能进行性能测试;
4.熟练使用 Python, 熟悉常见工具库 tensorflow pytorch numpy 等;
5.良好的问题解决和创新能力,能根据问题独立提出方案及落地;