#AI/ML#개발자경험
Pen latency 개선 사례: On Device AI를 활용한 디바이스 성능 개선
세션소개
스마트 디바이스의 화면 위에 사용자가 펜으로 필기할 때, pen과 이를 표현하는 graphic 사이의 지연 시간이 짧을수록 실제에 가깝다고 느끼게 됩니다. 따라서, 화면 크기가 큰 tablet/notebook 제조사들은 이 시간을 단축하기 위해 많은 노력을 기울이고 있습니다. 그러나, Android/MS Windows OS에는 구조적 performance constraint가 있어, 이를 극복하기 위한 독자적인 S/W architecture가 필요하였습니다. Display 장치의 front buffer에 접근하여 direct rendering 하는 방법과 함께 on device AI를 이용하여 사용자의 필기 궤적을 예측, 미리 rendering하는 방법을 복합적으로 적용한 결과, 지연 시간을 zero에 가깝게 개선할 수 있었습니다. 이 과정에서 사용된 Deep learning과 관련된 ML Data의 수집, 정제, 예측 모델 구성 방법에 대한 공유를 통해 low latency 기술을 소개하고자 합니다.