MMBench

MMBench是多模态基准测试，由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员联合推出。MMBench推出一个综合评估流程，从感知到认知能力逐级细分评估，覆盖20项细粒度能力，从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测，循环打乱选项验证输出结果的一致性，基于ChatGPT精准匹配模型回复至选项。MMBench涵盖多种任务类型，如视觉问答、图像描述生成等，基于综合多维度指标，为模型提供全面的性能评估。MMBench 的排行榜展示不同模型在这些任务上的表现，帮助研究者和开发者了解当前多模态技术的发展水平，推动相关领域的技术进步。

无阶未来

无阶未来是一个致力于为广大热爱ai应用开发、寻求AI工具、炼丹的小伙伴儿们提供便利的AI应用与弹性算网平台，专注于为普通用户、AI开发者提供全面的开源应用与弹性算网服务。无阶未来平台提供平台提供了丰富的镜像资源及云端部署环境，用户可以根据自己的需求选择合适的资源或直接使用内置镜像模型作为起点开启训练，同时平台内置各类型打开即用的AI应用，应用涵盖AI绘画、AI视频、AI语音、语言大模型到机器学习，让每个用户一键使用；且针对每个应用，平台均提供包含全栈设计的产品服务，让每个开发者都一站式部署。

PubMedQA

PubMedQA是专门用在生物医学研究问题回答的数据集。PubMedQA通过文献摘要回答“是/否/可能”形式的研究问题，例如“某种药物是否有效”。数据集包含1000个专家标注的问答实例、61200个未标注实例和211300个人工生成的问答对。PubMedQA为研究人员提供标准化的测试平台，用在开发和评估生物医学自然语言处理模型，帮助提升模型对生物医学文献的理解和问答能力。

AutoGPT

AutoGPT是实验性开源应用程序，展示了GPT-4语言模型的真正潜力，GitHub上超10万人星标。该程序由 GPT-4 驱动，将LLM大语言模型思维链接在一起，自主实现设定的任何目标。AutoGPT能帮助用户创建、部署和管理能够自动执行复杂工作流的AI Agent。AutoGPT提供一个直观的低代码界面，用户通过“Agent Builder”设计和配置自己的AI Agent，或从预设代理库中选择直接使用。AutoGPT支持多种操作系统，包括Linux、macOS和Windows，且需要一定的硬件和软件配置。AutoGPT具备工作流管理、部署控制、监控与分析等功能，助力用户高效实现自动化任务。 AutoGPT lets you build, deploy, and run AI agents that automate your digital workflows — research, outreach, content, support — without writing code.

魔搭社区

魔搭社区（ModelScope）是阿里巴巴达摩院推出的综合性的人工智能模型共享与服务平台，为构建一个开放、高效、易用的AI模型生态，为开发者、研究人员和企业用户提供一站式的模型获取、部署和应用体验。 ModelScope平台汇集了丰富的预训练模型资源，涵盖自然语言处理、计算机视觉、语音识别等多个领域。用户可以通过简单的搜索和下载操作，快速获取所需的模型，结合平台提供的工具进行微调、优化和部署。魔搭社区支持多种硬件平台，包括昇腾、GPU等，满足不同用户的需求。 ModelScope

豆包大模型

豆包大模型是字节跳动推出的AI大模型家族，包括 豆包PixelDance、豆包Seaweed 视频生成、文生图、图生图、同声传译、角色扮演、语音合成、声音复刻、语音识别、Function Call和向量化等多个模型。豆包大模型具备强大的语言理解、生成和逻辑能力，能进行个性化创作、情绪丰富的语音合成、高精度语音识别、多风格图像生成和顶级的视频生成。豆包大模型通过火山引擎提供服务，支持企业和开发者构建智能化应用，推动AI技术在多种业务场景中的落地。 豆包大模型的性能在多个评测中表现优异，例如在包括MMLU、BBH、GSM8K和HumanEval在内的11个业界公认的基准测试集中，Doubao-pro-4k模型的总体得分达到了76.8分，在代码能力、专业知识和指令遵循等方面的显著进步。

腾讯混元大模型

腾讯混元是腾讯公司推出的多功能大语言模型，具备强大的自然语言处理和生成能力。支持多种应用场景，如对话交互、视觉生成、代码辅助、文档编辑、知识问答等，能帮助用户高效完成任务并提升内容创作效率。腾讯混元提供模型接入服务，方便开发者将其集成到各类应用中，实现智能化升级。凭借强大的技术实力和丰富功能，腾讯混元为各行业提供高效、智能的解决方案，助力业务价值提升。

CMMLU

CMMLU是综合性的中文评估基准，专门用在评估语言模型在中文语境下的知识和推理能力，涵盖从基础学科到高级专业水平的67个主题。包括需要计算和推理的自然科学，需要知识的人文科学和社会科学，及需要生活常识的中国驾驶规则等。CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。CMMLU提供丰富的测试数据和排行榜，支持多种评估方式，如five-shot和zero-shot测试，是衡量中文语言模型性能的重要工具。 Senior Research Scientist at MBZUAI-IFM. | Prev. MBZUAI, LibrAI, UniMelb, SJTU, MSRA - haonan-li