开源加速Transformer推理的工具！腾讯的第100个开源项目

TurboTransformers提供了一些脚本，可以将PyTorch/TensorFlow的预训练模型转化为npz格式，供TurboTransformers读入，从而无缝支持PyTorch/TensorFlow训练好的序列化模型，还考虑到pytorch huggingface/transformers是目前最流行的transformers训练方法，支持直接读入huggingface/transformers预训练模型。

3、应用部署

TurboTransformers提供了C++和Python调用接口。可以嵌入到C++多线程后台服务流程中，也可以加入到pytorch服务流程中。

开发团队建议TurboTransformers通过docker部署，一方面保证了编译的可移植性，另一方面也可以无缝应用于K8S等线上部署平台。

▲在NVIDIA V100 GPU上的性能测试结果

据悉，目前TurboTransformers的功能还相对有限，未来腾讯还会进一步对其优化，在开源后，TurboTransformers也期待与社区和开发者一起共建。

当前TurboTransformers只支持了FP32的计算，重点支持了BERT模型，解决了计算加速问题但还需用户自行搭建服务框架。未来该项目团队计划支持GPU FP16，并将增加该工具自动化优化的能力，还将开源服务流程，打通用户上线的最后一站。

结语：以开源撬动技术创新

“腾讯希望在科研领域投入更多力量，把科技向善纳入公司新的使命与愿景。我们将通过内外部开放源代码等方式，积极参与全球科技共同体的共建。”在2019年智博会上，腾讯公司董事会主席兼首席执行官马化腾表达了腾讯对开源的重视。

随着技术能力地持续累积，以及以开源为代表的腾讯新代码文化的兴起，腾讯在开源领域表现亮眼：在全球最大的代码托管平台 Github 上，腾讯已经累计开源了100个项目，覆盖云原生、大数据、AI、安全、硬件等多个热门的技术方向，并累计获得了超过29万Star数，跻身国际上有影响力的开源企业之一。

在2020年，腾讯陆续推出了针对云的场景研发的Linux 操作系统TencentOS Server、视频评估算法DVQA等多个开源项目，同时也积极用科技力量助力全球抗击疫情，3月27日，腾讯健康新冠疫情模块国际版（TH_COVID19_International）、“新冠肺炎AI自查助手” （COVID-19 self-triage assistant）也接连开源，向全球开放科技能力。

正如腾讯高级执行副总裁、云与智慧产业事业群总裁汤道生所言：“开源不再是开发者的个人热情，它已成为许多技术驱动型产业背后重要的创新推动力。”全面拥抱开源的腾讯，在打破内部技术壁垒的同时，也在推动IT行业更快地创新发展和走向未来。

（编辑：555手机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!