应用介绍
阿里通义千问此次提供了从0.6B到235B的8个尺寸，以及4bit、6bit、8bit、BF16的4种精度，构建了前所未有的精度光谱，直指苹果设备算力差异痛点。具体来看，低量化的4bit版本可以在iPhone等内存有限的设备中流畅运行，而高精度的BF16版本则能够适应Mac Studio等需要更高推理质量的设备。
阿里通义千问此次提供了从0.6B到235B的8个尺寸，以及4bit、6bit、8bit、BF16的4种精度，构建了前所未有的精度光谱，直指苹果设备算力差异痛点。具体来看，低量化的4bit版本可以在iPhone等内存有限的设备中流畅运行，而高精度的BF16版本则能够适应Mac Studio等需要更高推理质量的设备。
