평가 진행에 앞서 현재 WARBOY에서 가속되는 모델 리스트를 아래와 같이 공유 드립니다. 참고로 리스트에 있는 모델 중에서도 중요한 모델을 요청해주시면 최적화를 더 할 수 있습니다. 리스트에 없는 모델들은 성능이 기대와 다를 수 있는데 모델을 저희에게 전달해주실 수 있다면 컴파일러 개선을 통해 최적화를 더 할 수 있는지 검토하겠습니다.
FuriosaAI에서 별도 메일로 발급한 API 키를 아래와 같이 설정한다.
Access Key를 login 정보로 Secret Access Key를 password로 사용하시면 됩니다.
sudo tee -a /etc/apt/auth.conf.d/furiosa.conf > /dev/null <<EOT
machine archive.furiosa.ai
login [ACCESS KEY]
password [SECRET ACCESS KEY]
EOT
sudo chmod 400 /etc/apt/auth.conf.d/furiosa.conf
배포판 버전에 따른 탭을 선택하여 설명을 따라 APT 서버를 설정한다.
이 부분은 가이드 명령에 추가로 아래와 같이 focal-rc도 설정을 해주셔야 합니다.
sudo tee -a /etc/apt/sources.list.d/furiosa.list <<EOT
deb [arch=amd64] <https://archive.furiosa.ai/ubuntu> focal restricted
deb [arch=amd64] <https://archive.furiosa.ai/ubuntu> focal-rc restricted
EOT
설치 완료 확인을 위해 가이드에 있는대로 driver와 toolkit을 설치해서 furiosactl 명령을 실행해보실 수 있습니다.
$ furiosactl info
+------+--------+----------------+-------+--------+--------------+
| NPU | Name | Firmware | Temp. | Power | PCI-BDF |
+------+--------+----------------+-------+--------+--------------+
| npu1 | warboy | 1.6.0, 3c10fd3 | 54°C | 0.99 W | 0000:44:00.0 |
+------+--------+----------------+-------+--------+--------------+
위와 같이 WARBOY 정보가 출력되면 정상적으로 설치가 완료된 것입니다.
튜토리얼에 있는 image classification 예제를 한번 수행해보시길 권장 드립니다.
보유하신 FP32 ONNX 모델이 WARBOY에서 가속되는지는 litmus 명령어로 간단히 확인 가능합니다.
Warboy는 INT8 연산을 수행하기 때문에 quantization은 필수 입니다. 평가 대상 모델을 직접 quantization 하셔도 되고 저희가 제공 해드리는 도구를 활용하실 수도 있습니다.
자세한 내용과 예제는 문서를 참조 부탁 드립니다.