上交大发布llm手机推理框架powerinfer-2，提速29倍-品玩
股市行者
2024-08-03 22:50:52
0次

品玩6月12日讯，据 Arxiv 页面显示，上海交大 IPADS 实验室推出了面向手机的大模型推理引擎PowerInfer-2.0。

PowerInfer-2.0 能够在内存有限的智能手机上实现快速推理，让 Mixtral 47B 模型在手机上达到11 tokens/s 的速度。与热门开源推理框架 llama.cpp 相比，PowerInfer-2.0 的推理加速比平均达到 25 倍，最高达 29 倍。

为了充分释放出 PowerInfer-2.0 框架的最大潜力，上海交大团队还提出了配套的大模型优化技术Turbo Sparse，相关论文近期也上传了 arxiv，并且已经在业内引起关注。

股票投资APP

上一篇：港股异动 特步国际(01368)涨超7%领涨体育用品股 体育行业或迎利好政策 各品牌零售流水表现符合预期

下一篇：百亿龙头历史新高！金价大涨催化一众股基，ETF净值连刷高点，月内份额则多为下降

相关内容

福元医药(601089SH...
智通财经APP讯，福元医药(601089.SH)公告，截至2024...
2024-12-10 22:56:23
中国银河(06881)20...
智通财经APP讯，中国银河(06881)发布公告，中国银河证券股份...
2024-11-16 23:48:45
上交大发布llm手机推理框...
品玩6月12日讯，据 Arxiv 页面显示，上海交大 IPADS ...
2024-08-03 22:50:52
华为开启轻量化5G技术：较...
快科技10月12日消息，在2023全球移动宽带论坛上，华为联合产业...
2024-06-16 21:53:36
国际金价屡创新高 A股黄金...
　　近期，黄金进入“涨涨涨”模式。昨夜，国际金价刷新历史新高，伦敦...
2024-06-01 21:55:36
尿素现货价格企稳 盘面大幅...
　　尿素盘面大幅反弹，现货价格小幅下行后企稳，成交有所好转。煤价小...
2024-05-20 12:31:23

热门资讯

本钢转债下跌007%，转股溢价... （原标题：本钢转债下跌0.07%，转股溢价率38.54%）3月8日，本钢转债收盘下跌0.07%，报1...
两市主力资金净流出24191亿... 　　1月31日，沪指下跌1.48%，深成指下跌1.95%，创业板指下跌0.66%，沪深300指数下跌...
博西家电2024“智创未来家”... 7月8日，由博西家电主办的2024“智创未来家”高校创新大赛正式步入决赛角逐阶段，创意孵化营开营仪式...
【荔枝文化形象大使总决赛选手专... 海龙阁饼业·2024茂名荔枝文化形象大使全国选拔赛由中共茂名市委宣传部、茂名市文化广电旅游体育局、茂...
证监会2天连开十余场座谈会，吴... 2月18日至19日，新春上班伊始，证监会召开系列座谈会，就加强资本市场监管、防范化解风险、推动资本市...
水晶宫VS谢菲尔德联队，水晶宫... 【英超】水晶宫VS谢菲尔德联队水晶宫目前取得5胜6平10负的成绩，排名英超联赛15的位置，球队目前主...
开年大跌30%！微盘股闪崩、量... 　　量化基金迎来“至暗时刻”。2024年以来，A股市场陷入调整，小微盘股更是遭遇断崖式下跌，相关重仓...
大田环球贵金属：现货黄金操作建... 现货黄金市场行情现状简述：在成功突破2000大关过后，目前黄金价格的上涨趋势已经相当强劲，本周刷新了...
我国经济延续回升向好态势 前两... 工业生产增长加快随着各项政策持续落地显效，1月份至2月份，工业生产增长加快，规模以上工业增加值同比增...
A股登上热搜，人民币升破多个关... 12月28日，人民币汇率狂拉，日内升幅涨超400点。与此同时，A股大涨，再度登上热搜。机构指出，短期...