Skip to content
/ Qwen Public
  • Notifications You must be signed in to change notification settings
  • Fork 1.1k
  • Star 13.8k
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

新版的7b，两张T4卡，推理速度巨慢，对比了下老版的，老版比新版快很多 #381

Closed
2 tasks done
shujun1992 opened this issue Sep 28, 2023 · 9 comments
Closed
2 tasks done

新版的7b，两张T4卡，推理速度巨慢，对比了下老版的，老版比新版快很多 #381

shujun1992 opened this issue Sep 28, 2023 · 9 comments
Assignees
@logicwong
Labels
enhancement New feature or request

Comments

@shujun1992
Copy link

shujun1992 commented Sep 28, 2023

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

  • 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

  • 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

新版的7b，两张T4卡，推理速度巨慢，对比了下老版的，老版比新版快很多

期望行为 | Expected Behavior

新版的7b，两张T4卡，推理速度巨慢，对比了下老版的，老版比新版快很多

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

备注 | Anything else?

No response
@JustinLin610 JustinLin610 assigned logicwong Oct 7, 2023
@xiaotingyun
Copy link

xiaotingyun commented Oct 13, 2023

我也遇到了这个问题，使用auto的方式加载，代码如下AutoModelForCausalLM.from_pretrained(model_path,trust_remote_code=True,torch_dtype=torch.float16,device_map='auto')
速度慢了10倍，请问你解决这个问题了吗

@logicwong
Copy link
Contributor

logicwong commented Oct 14, 2023

@shujun1992 @xiaotingyun 感谢反馈，我们最新代码对速度进行了优化，请参阅这个回复 #372 (comment)

@xiaotingyun
Copy link

xiaotingyun commented Oct 15, 2023 •
edited
Loading

更新了代码，在多卡推理的情况下，并没有明显的改善，仍然比单卡推理慢6倍左右 @logicwong

@JustinLin610
Copy link
Member

JustinLin610 commented Oct 15, 2023

想确认个事，我们老版的模型会快很多是比现在还快？因为刚才王鹏提到的优化我们的速度应该是能回到之前老版的效果的。那么老版的多卡和单卡速度差异是怎样的？我们希望确定下问题来自我们还是transformers的多卡推理

@xiaotingyun
Copy link

xiaotingyun commented Oct 15, 2023

我没有使用过老版的，但我想问题应该是在多卡推理，我下面两张图分别进行了单卡和多卡的推理
image
BIL}~HY N QQ3)9WNVJ%1FN
下面两张图是chatglm2-6b的一个单卡和多卡推理速度，可以看到，多卡并没有比单卡慢特别的多
E2U819HEMLY4%A 01P9%5Y6
PJ`37D~I 1$ 3Y 9X9UTQ2H

@JustinLin610

@shujun1992
Copy link
Author

shujun1992 commented Oct 15, 2023

更新了最新的代码，我没把具体的对比时间分别打出来，但是老版的双卡比新版的双卡肉眼可见快个5、6倍

@logicwong logicwong added the enhancement New feature or request label Oct 16, 2023
@gumanchang
Copy link

gumanchang commented Oct 17, 2023 •
edited
Loading

在没有安装flash attention的情况下，确实，老版的多卡速度确实肉眼可见的快的多。
安装了flash attention后，速度就很快了，不论单卡还是多卡。

@Wendy-Rong
Copy link

Wendy-Rong commented Oct 20, 2023

请问除了使用use_flash_attn，更新hf，还有其他加快推理速度的方法嘛

@jklj077
Copy link
Contributor

jklj077 commented Nov 30, 2023

您好，我们在更新的模型代码中修正了一处可能影响长序列或低带宽场景下transformers多卡推理速度偏慢的问题，请尝试看下最新的代码能否缓解您遇到的问题。如问题仍存在，请重开本issue。

@jklj077 jklj077 closed this as completed Nov 30, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@logicwong logicwong

Labels
enhancement New feature or request
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
7 participants
@gumanchang @jklj077 @shujun1992 @JustinLin610 @logicwong @xiaotingyun @Wendy-Rong

Footer

© 2024 GitHub, Inc.

玻璃钢生产厂家丽江玻璃钢雕塑价格玻璃钢花盆寿命几年青海玻璃钢佛像雕塑清远玻璃钢楼盘景观雕塑批发报价开封市玻璃钢雕塑广东玻璃钢透光雕塑公司广州玻璃钢动物雕塑宁波大型玻璃钢雕塑批发陕西环保玻璃钢雕塑联系方式玻璃钢花盆是有机合成材料吗邳州商场美陈策划重庆户内玻璃钢雕塑制作潍坊海洋主题玻璃钢雕塑玻璃钢雕塑遇水会变形吗石家庄工业玻璃钢雕塑生产基地广场玻璃钢人物雕塑珠海仿真玻璃钢人物雕塑嘉善玻璃钢造型雕塑梅州透光玻璃钢雕塑宁夏抽象人物玻璃钢雕塑厂家各个大型商场的国庆美陈布置福建玻璃钢雕塑方案玻璃钢雕塑成品价格暗黑色玻璃钢花盆玻璃钢动物雕塑讯息玻璃钢雕塑有毒塘沽玻璃钢雕塑公司玻璃钢花盆落地造型安庆玻璃钢雕塑供应商南通玻璃钢雕塑厂家电话香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人？张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身！外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫：哈马斯三号人物被杀测试车高速逃费 小米：已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化