国精一二二产品无人区苹果为什么要用“小模型国精一二二产品无人区”?
苹果为什么要用“小模型国精一二二产品无人区”?
作为一名有着33年经验的外交官,我知道面对面的对话是无可替代的,即使你们在zoom(视频会议平台)上见面或者是互相写信,这些也是不一样的。但是当你们面对面见面时,就可以建立起信任。这也是我希望布林肯、耶伦和克里访问中国能起到的作用。
来源国精一二二产品无人区:新智元 在WWDC2024上, 这是一款深度集成到iOS18、iPadOS18和macOSSequoia中的个人智能系统。 与其他科技大厂不同的是,「苹果牌」AI并没有奉行「越大越好」的宗旨。 相反,苹果的态度更加务实,优先考虑用户体验,更强调AI模型的定制化。 将生成式AI无缝融入操作系统,——从某种意义上来说,这是一种非常「苹果」的做法。 AppleIntelligence由多个功能强大的生成模型组成,这些模型专门用于用户的日常任务,可以即时适应用户当前的活动。 AppleIntelligence内置的基础模型针对用户体验进行了微调,例如编写和优化文本、摘要、确定通知的优先级、为对话创建有趣的图像,以及简化跨App的交互。 苹果倾向于利用设备端的小模型搞定这些事情,当然用户也可以选择使用ChatGPT等第三方的服务,但这时数据方面的责任就跟苹果没有关系了。 苹果着重介绍了其中两个模型:一个约30亿参数的设备端语言模型,以及一个更大的基于服务器的语言模型(可通过私有云计算在苹果服务器上运行)。 KeepSmall 苹果的基础模型是在AXLearn框架上训练的。 AXLearn是苹果在2023年发布的一个开源项目,它建立在JAX和XLA之上,使苹果能够在各种训练硬件和云平台上以高效率和可扩展性训练模型,包括TPU、云端和本地GPU。 苹果结合使用数据并行、张量并行、序列并行和完全分片数据并行(FSDP)来沿数据、模型和序列长度等多个维度扩展训练。 苹果使用网络爬虫AppleBot来收集公开可用的数据,——如果Web发布者不希望自己的内容被AppleIntelligence用于训练,苹果也提供了各种粒度的控制方案。 苹果表示,在训练基础模型时,从不使用用户的私人个人数据或用户交互,并且苹果应用过滤器来删除互联网上公开的个人身份信息(比如社会保险和信用卡号)。 除了过滤之外,苹果还通过数据提取、重复数据删除和基于模型的分类器的应用,以识别高质量的文档。 后处理 苹果在训练管道中使用混合数据策略,结合人工注释和合成数据,并执行彻底的数据管理和过滤程序。 苹果在后处理阶段开发了两种新颖的算法: 1.拒绝抽样微调算法(rejectionsamplingfine-tuningalgorithm); 2.基于人类反馈的强化学习(RLHF)算法,采用镜像下降策略优化和留一法优势估计器(leave-one-outadvantageestimator)。 这两种算法可以显著提高模型的指令遵循质量。 除了确保生成模型具有强大功能外,苹果还使用了一系列创新技术在设备上和私有云上对其进行优化,以提高速度和效率。 设备端模型和服务器模型都使用分组查询注意力(grouped-query-attention),来优化其推理性能。 苹果使用共享的输入和输出词汇表,来降低内存需求和推理成本,保证了共享嵌入张量的映射没有重复。 设备端模型使用49K的词汇大小,而服务器模型使用100K的词汇大小。 对于设备端推理,苹果使用low-bitpalletization,来满足必要的内存、功耗和性能要求。 为了保持模型质量,苹果开发了一个使用LoRA适配器的新框架,混合使用2比特和4比特的配置策略(平均每个权重3.5比特),以实现与未压缩模型相同的精度。 此外,苹果还使用交互式模型延迟和功耗分析工具Talaria来更好地指导每个操作的比特率选择。 利用激活量化和嵌入量化,可以在苹果的神经引擎上实现高效的键值缓存(KVcache)更新。 通过上面的这些优化,iPhone15Pro能够达到约0.6毫秒的延迟,以及每秒30个token的生成速率。 适配器 苹果的基础模型针对用户的日常活动进行了微调,可以动态地专注于手头的任务。 做法是将小型神经网络作为模块(适配器,adapter),插入到预训练模型的各个层中,以实现针对特定任务的微调。 此外,苹果调整了注意力矩阵、注意力投影矩阵和前馈网络中的全连接层,以适应Transformer架构的的解码层。 通过仅微调适配器层,基本预训练模型的原始参数保持不变,从而保留模型的一般知识,同时又能支持特定任务。 AppleIntelligence包含一组广泛的适配器,这是扩展基础模型功能的有效方法。 苹果使用16位表示适配器参数的值,对于30亿个参数的设备模型,16级适配器的参数通常需要10兆字节。 适配器模型可以动态加载、临时缓存在内存中并进行交换,保证了操作系统的响应能力。 因为用户体验是最高优先级,所以在对模型进行基准测试时,苹果专注于人工评估。 摘要 苹果的训练数据基于从更大的服务器模型生成的合成摘要,并通过拒绝抽样策略进行过滤,仅保留高质量的摘要。 为了评估特定于产品的摘要,这里使用一组750个响应,针对每个用例进行了仔细抽样。 评估数据集涵盖了苹果的产品功能在生产中可能面临的各种输入,包括不同内容类型和长度的单个文档和堆叠文档的分层组合。 另外,评估摘要功能也要考虑到一些固有风险,比如,模型偶尔会忽略掉一些重要的细节。 根据评分者在五个维度上的打分,摘要被分类为好、中、差。 实验结果表明,与同类模型相比,带有适配器的模型可以生成更好的摘要。 并且在超过99%的针对性对抗性示例中,摘要适配器并没有放大敏感内容。 基础功能 对于设备端和服务器模型的一般功能,苹果利用一套全面的真实世界提示来评估通用模型的功能。 这些提示在不同的难度级别上各不相同,涵盖头脑风暴、分类、封闭式问答、编码、提取、数学推理、开放式问答、重写、安全、总结和写作等主要类别。 将苹果的模型与开源模型(Phi-3、Gemma、Mistral、DBRX)和类似规模的商业模型(GPT-3.5-Turbo、GPT-4-Turbo)进行比较。 实验表明,与大多数竞品相比,苹果的模型更受人工评分师的青睐。 苹果的3B设备端模型性能优于Phi-3-mini、Mistral-7B和Gemma-7B等大型模型;而苹果的服务器模型也要优于DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo,同时效率更高。 安全性 苹果使用一组不同的对抗性提示来测试模型在有害内容、敏感主题和事实性方面的表现。 测量每个模型的违规率,同样采用人工评估: 上图显示了在安全提示方面与竞品的PK。人工评分员发现苹果的回答更安全、更有帮助。 指令遵循 为了进一步评估模型,苹果还使用指令跟踪评估(IFEval)基准测试来比较同类模型的能力。 结果表明,苹果的设备端和服务器模型都比同等规模的开源和商业模型更好地遵循详细说明。 最后是根据内部总结和作文基准评估模型的写作能力,包括各种写作说明,这些结果不涉及用于特定功能的适配器。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:钱生禄
TOP1热点:第六届中国毛发移植大会:用户从“治”到“防”雍禾医疗前瞻行业
目前,CBA选秀已启动7年,各队从大学选来的球员中,还没有任何一名球员能在国家队立足,离开职业赛场的也不在少数。。
现任总统妻子岳母接连被查,施政差评率创新高……“青瓦台魔咒”的阴影是否再度笼罩在韩国政坛?
TOP2热点:第六届中国毛发移植大会,磅策医疗Hairo 植发机器人惊艳亮相
不过陈波律师表示,根据《公司法》,监事会提议召开的股东大会,董事会没有权利撤销。“何况7月24日股东大会正在表决,这几位董事,可能有些已经被罢免了。”他称。
TOP3热点:科普服务中国式现代化建设学术论坛在京举行久久日
“决议”称,该项提案,关联董事余建华、万鹤群回避表决。独立董事甘耀仁未在规定时间内回复。其余董事赞成。表决结果为:通过。
TOP4热点:向“尼”走来,在数字文明对话中书写精彩40岁阿姨荒野大镖客一电影内容
1997年,该校投资230万元动工建设这座1260平方米的体育馆,馆内拥有300多个座位的观众席,1间健身房,1间淋浴室,1间洗手间,2间办公室,篮球场、排球场、羽毛球场、乒乓球场地。
TOP5热点:中国空间站第四批空间科学实验样品顺利返回拔萝卜痛又叫黄
民警们敏锐地询问杨姐为什么要处理房间。
小张目击了这一幕,“我们四个人在小吃街溜达,刚走过去就听到咣当几声,后来看见一群人在那里围观,过去就看到一个人倒在一片血泊之中,旁边零零散散地撒了一点砖头沫。”
TOP6热点:建设教育强国,习近平总书记为何将这件事作为“重要突破口”?人与畜禽CORPORATION
王超说那是2017年,当时他单身。在一次飞行完后,他就打开了附近的人,添加了一个女孩。
TOP7热点:好评中国丨守护,是对“美丽中国”最真情的告白део
梅花,傲雪凌霜,高洁坚韧。一首《卜算子·咏梅》借“梅花”,写下了中国政治家为民的情操。
TOP8热点:美国银行CEO预测美经济今年下半年衰退:失业率将升至4%高位日本精产国品一二三产品
第一财经记者在现场看到,临时股东大会场地安保森严,股东大会所在的中山火炬会展中心前门、后门均设有多道安防,拒绝媒体进入。
TOP9热点:2023年中外少年儿童“六一”草坪嘉年华纪念封在京发布交换的日子2
随着中国和亚洲的回归,他们现在必须让开一些路,给中国、给印度、给其他亚洲国家让出空间。他们显然不愿意这样做。因此,他们现在集中精力,说中国对世界构成威胁,为自己不对中国的回归作出调整找借口。
这座城市始建于14世纪。它曾是立陶宛大公国的一部分,1529年成为奥斯曼土耳其帝国的一部分,一直到奥斯曼帝国在俄土战争中失败,1789年它被俄国人攻占,1792年割让给俄国。
TOP10热点:人与自然和谐共生 书写多彩生态答卷B站暴躁姐
时逢暑假,学校体育场馆坍塌,导致如此重大伤亡,让人痛心。事故救援还在进行之中,目前关于事故发生的更多细节和原因,关于社会针对事故的关切,还需要相关部门在深入调查的基础上及时给出。但从目前初步调查来看,事故中的“人祸”因素已经很明显,相关责任方恐罪责难逃。
23日晚,齐齐哈尔市第一医院急诊科一名工作人员向中国新闻周刊表示,目前确有多名三十四中学学生被送至该院,“整个急诊科都在忙着,但具体伤情无法透露”。