天眼查显示,珠海亿智电子科技有限公司近日取得一项名为“深度学习模型的定点量化方法及装置”的专利,授权公告号为CN113408696B,授权公告日为2024年7月2日,申请日为2021年5月17日。
本发明公开了深度学习模型的定点量化方法及装置,该方法包括以下步骤:输入校准数据至目标模型,按顺序将目标模型的模型参数和激活值作为量化对象,执行以下步骤:输入校准集数据,按层提取目标模型的量化对象,获取量化对象的分布直方图,通过自适应KL散度方程对量化对象的分布直方图进行缩放,并基于预设量化位数获取不同的小数点位置对应的KL散度值,比较得出量化对象的第一量化结果。本发明弥补了KL散度算法仅关注概率的缺陷,优化量化结果,在保证量化后的模型一定的精度的情况下,能大幅度提升量化的速度,提高了量化的效率,节省了时间。