凯发k8国际首页登录科技
微信号:UnionScience
扫描关注,更多最新动态
彼时的 Meta 遭遇了苹果调整隐私策略和元宇宙预冷的双重打击◈ღ,股价一度跌至近 6 年来的谷底◈ღ,比 2021 年的最高价位缩水了三分之二有多◈ღ。
2023 年 Meta 做出了大量调整◈ღ,包括裁员和削减项目收缩成本◈ღ、押注短视频应用 Reels◈ღ,以及加大 AI 技术的投资◈ღ,利用 AI 来改进广告模型投放等等◈ღ。
其中ZOOM人牛OKZOOM俄罗斯◈ღ,AI 在 Meta「苏醒」的历程中扮演了非常重要的角色◈ღ。今年以来 Meta 在 AI 领域持续发力◈ღ,不断地开源自家的 AI 研究成果◈ღ,从技术层面来看并不弱于 OpenAI 和 Google 等明星 AI 公司◈ღ。
就在今天◈ღ,Meta 发布了开源大模型 Llama 2◈ღ,引爆了 AI 圈◈ღ:Llama 2 不仅性能不输 GPT-3◈ღ,而且免费◈ღ、开源◈ღ,还可商用◈ღ!
Llama 2 是 Meta 今年 3 月初发布的 Llama 模型的后续版本◈ღ,Llama 因为体积小K8凯发旗舰厅(中国)官方网站◈ღ、性能强等优点ZOOM人牛OKZOOM俄罗斯◈ღ,在 AI 社区得到了广泛的好评◈ღ,被认为是推动 AI 研究和开发的重要工具◈ღ。
Meta AI 今天一同发布了大型语言模型 Llama 2 及其调优版本 Llama 2-Chat◈ღ,相比 Llama 1K8凯发旗舰厅(中国)官方网站◈ღ,新版Llama 2 在模型规模◈ღ、训练数据量◈ღ、模型结构等多个方面进行了全面提升◈ღ。
Llama 2 家族包含多个模型规模◈ღ,包括 70 亿◈ღ、130 亿◈ღ、340 亿(暂未发布)和 70 亿参数量的多个版本◈ღ,覆盖了不同的应用场景需求◈ღ。
首先◈ღ,训练数据量增加了 40%◈ღ,从 Llama 1 的 1.4 万亿个 token 增至 2 万亿个 token◈ღ。训练数据中的文本来源更多样化◈ღ,包括书籍◈ღ、论文◈ღ、新闻报道◈ღ、网页内容等在线公开来源◈ღ。
Llama 2 还将单条文本的最大长度从 2048 个 token 提升至 4096 个 token◈ღ,更长的文本输入意味着可以包含更多上下文信息◈ღ,提升模型的理解能力◈ღ。
Llama 2 在更大模型的版本中采用了「分组 Attention」机制◈ღ,可以显著降低计算和内存需求◈ღ,提升推理速度◈ღ。
除了规模和结构的改进◈ღ,Llama 2 在多个自然语言处理基准测试上的结果也优于 Llama 1 和其他开源大模型K8凯发旗舰厅(中国)官方网站◈ღ,显示出在知识表达◈ღ、推理◈ღ、对话等能力上的提升◈ღ。
Meta 研究人员开发了全新的调优方案◈ღ,通过监督微调和强化学习相结合的方式不断提升 Llama 2-Chat 的性能◈ღ。
举个例子K8凯发旗舰厅(中国)官方网站◈ღ,Llama 2-Chat 的理解能力和表达能力都上了一个台阶◈ღ,现在可以只用 Emoji 和你聊天K8凯发旗舰厅(中国)官方网站◈ღ,
这是怎么做到的呢?Meta 的研究人员先利用人工标注数据进行监督微调◈ღ,使模型初步符合人类偏好◈ღ,兼顾有用性和安全性◈ღ,为后续的强化学习奠定了良好基础◈ღ。
然后◈ღ,利用强化学习中的「拒绝采样」策略进行迭代调优ZOOM人牛OKZOOM俄罗斯◈ღ。该策略为每个输入文本生成多个响应◈ღ,利用训练好的「奖励模型」选择最佳响应◈ღ,再利用选择后的响应样本微调模型◈ღ。
简单来说◈ღ,Llama 2 的性能和安全性在开源大模型里面都是首屈一指的存在◈ღ,更详细的技术细节可以参考 Meta 公布的技术论文◈ღ。
目前 Meta 已 GitHub 上开源了 Llama 2 预训练模型的代码和参数◈ღ,允许研究人员进行探索◈ღ。Meta 还开放了 Llama 2 的商业使用许可(但月活量超过 7 亿的产品需要另外申请商用)◈ღ,相信很快将会有一批基于 Llama 2 的大模型产品涌现出来◈ღ。
Meta 则表示◈ღ,微软是 Llama 2 的首选合作伙伴◈ღ,未来两者会通过深度合作K8凯发旗舰厅(中国)官方网站◈ღ,以增加对基础人工智能技术的普及◈ღ,从而让全球的企业受益◈ღ。
而除微软以外◈ღ,Meta 同时还和亚马逊 AWS◈ღ、Hugging Face 两家云服务供应商达成合作◈ღ,在他们的平台上托管 Llama 2 的运行◈ღ。
值得一提的是◈ღ,尽管 Meta 宣称 Llama 2 模型是开源且免费商用的大语言模型◈ღ,但通过 Azure 等云服务方式使用 Llama 2 是否需要收取费用则尚未清楚◈ღ。
供应商之一的亚马逊发言人告诉彭博社◈ღ,Amazon 不会收取访问该模型的费用◈ღ,但客户需要为使用开发工具包支付费用◈ღ。Meta 对此还没做出回应◈ღ。
在微软官方博客中◈ღ,微软表示 Llama 2 已经针对 Windows 进行优化◈ღ,使其可以在 Windows 本地运行◈ღ。
也就是说◈ღ,Meta 推出的 Llama 2 大语言模型可能会成为 OpenAI 的主要竞争者◈ღ。
但同一时间◈ღ,微软持有 OpenAI 49% 的股份◈ღ,OpenAI 也依赖 Azure 来提供大量算力以支撑其人工智能模型的运营K8凯发旗舰厅(中国)官方网站◈ღ,甚至 ChatGPT 目前联网搜索的插件也是接入必应的搜索引擎◈ღ。
此前让不温不火的必应访问量暴增的 New Bing 也是依靠 GPT-4 技术来开发◈ღ。可以说◈ღ,微软在人工智能领域与 OpenAI 已经有深入的合作◈ღ。
也有评论认为◈ღ,两者或许存在竞争关系◈ღ,但不影响微软两边同时押注◈ღ。闭源领域依靠 OpenAI 实现 2C 业务◈ღ,进行商业化◈ღ。开源领域与 Meta 合作K8凯发旗舰厅(中国)官方网站◈ღ,建立生态的同时还能威胁到其他的闭源大语言模型ZOOM人牛OKZOOM俄罗斯◈ღ。
Meta 与微软更进一步的合作并不让人意外◈ღ。在 Meta 去年专注于开发「元宇宙」时◈ღ,Meta 就曾与微软携手把 Office ZOOM人牛OKZOOM俄罗斯ZOOM人牛OKZOOM俄罗斯◈ღ、Microsoft Teams 等效率工具兼容到 Quest 设备中◈ღ。
微软同时押注 Meta 和 OpenAI◈ღ,或许是想要同时在开源和闭源领域广撒网◈ღ,不错过每一种可能性◈ღ。
高通在一份新闻稿中表示◈ღ,高通正在和 Meta 合作优化 Meta Llama 2 大语言模型直接在终端侧的执行◈ღ。
高通计划在 2024 年起◈ღ,在搭载骁龙平台的旗舰智能手机和 PC 上支持基于 Llama 2 的 AI 部署◈ღ,赋能开发者使用骁龙平台的 AI 能力◈ღ。
未来 Llama 2 将可能搭载在 VR 头显◈ღ、汽车座舱◈ღ、物联网终端等领域◈ღ。 高通认为◈ღ, 终端侧的 AI 部署能显著降低开发成本◈ღ,提升用户隐私保护◈ღ、满足用户的安全偏好◈ღ,增强应用可靠性以及实现个性化的服务◈ღ。
也许到明年的这个时候◈ღ,你正在用着的骁龙芯片手机正在运行 Llama 2 模型为你解决问题也说不定呢◈ღ。智慧生活◈ღ。凯发k8国际◈ღ!凯发k8国际首页登录◈ღ。凯发k8娱乐官网app下载凯发天生赢家一触即发ChatGPT◈ღ,
0871-63302133 63302233
昆明市盘龙区新兴路霖岚国际凯发k8国际首页登录
http://www.jinfupenquan.com