가상 프레임 활용 신경망 기반 비디오 코덱 개발

미래 시점 영상 예측에서 객체 움직임 변화 추정은 핵심적인 과제입니다. 본 기술은 학습네트워크 기반의 인코더, LSTM, 디코더 구조를 활용하여 이 문제를 해결합니다. 입력 영상에서 특징을 추출하고, LSTM으로 시간 경과에 따른 특징 변화를 진화시킵니다. 이후 디코더의 ME(움직임 추정) 커널로 변화를 추정하고 MU(움직임 업데이트) 커널이 레퍼런스 영상과 결합하여 예측 영상을 생성합니다. 이를 통해 움직임 추정 정확도를 높이고 영상 품질을 향상시킬 수 있으며, 다양한 컴퓨터 비전 및 기계 학습 분야에 적용 가능합니다.

기존 동영상 코딩 기술은 잔차 신호의 0이 아닌 계수 수를 줄이는 데 중점을 두었으나, 이는 학습 사전의 개수를 늘릴 수 있는 문제가 있었습니다. 본 기술은 잔차 신호의 0이 아닌 계수 수를 줄일 뿐만 아니라, 계수의 위치를 블록 내 특정 영역에 집중시켜 동영상 코딩 효율을 극대화합니다. 인코더는 이전 프레임의 변환 함수와 현재 프레임의 계수 블록 패치를 활용하여 잔차 신호에 대한 희소 변환을 수행하며, 디코더는 이를 역으로 복원합니다. 이를 통해 기존 방식보다 낮은 비용으로 고효율 동영상 코딩 및 디코딩이 가능하여, 영상 압축 기술의 성능 향상에 크게 기여할 것입니다.

미래 스마트 차량은 통신 패킷 증가와 해킹 유형의 다양화로 주행 안전에 심각한 위협을 받고 있습니다. 본 기술은 이러한 문제를 해결하기 위해 차량 CAN 통신 패킷을 복호화하지 않고, 이진 데이터의 통계적 특성을 활용하여 공격을 탐지하는 방법을 제안합니다. 미리 정의된 CAN 패킷에서 CAN ID별 비트 단위 학습 통계 정보를 생성하고, 이 정보를 기반으로 신경망을 구성합니다. 실시간 입력되는 CAN 패킷의 비트열을 분석하여 신경망이 공격 여부를 판단하며, 공격 감지 시 공격 유형을 갱신합니다. 이를 통해 제어기의 계산 부담을 최소화하고, 학습 과정에서 사용자 개입을 줄이면서도 정확하고 효과적인 차량 네트워크 공격 탐지가 가능하여 스마트카의 주행 안전과 보안을 강화합니다.

정교한 비디오 생성 기술의 필요성이 증대됨에 따라, 기계학습 기반 비디오 보외법을 활용한 영상 생성 방법이 개발되었습니다. 이 기술은 컴퓨터 장치가 순방향 및 역방향 프레임들을 각각 생성하는 영상 생성 네트워크와, 이들을 합성하여 최종 프레임을 만드는 영상 합성 네트워크를 포함합니다. 특히, 컨볼루션 LSTM을 통해 시간 흐름에 따른 특징을 학습하고, 가중치 예측 네트워크를 활용하여 합성 과정에서 발생하는 품질 저하를 보상하여 더욱 높은 품질의 영상을 생성합니다. 이를 통해 기존 영상의 시간적 연속성을 기반으로 미지의 프레임을 예측하고 합성하여, 다양한 인공지능 애플리케이션 및 영상 콘텐츠 제작 분야에서 고품질 비디오 생성 및 처리 효율을 극대화할 수 있습니다.

HD 및 UHD 영상의 고화질 요구에 맞춰 기존 비디오 부호화/복호화 기술의 한계를 극복하기 위한 신경망 기반의 새로운 비디오 처리 기술입니다. 이 기술은 생성-부호기와 생성-복호기를 포함하는 비디오 생성 네트워크를 활용하여 가상 프레임을 생성하며, 이를 인터 예측의 참조 프레임으로 사용하여 예측 정확도를 높입니다. 대상 프레임과 잔차 프레임의 특징 벡터를 신경망으로 처리하고, 콘볼루션 LSTM 신경망으로 예측된 특징 벡터를 생성한 후, 이를 다시 디콘볼루션 신경망을 통해 예측 프레임으로 재구축합니다. 이로써 영상 압축 효율과 화질을 크게 향상시키며, 기존 코덱의 복잡도를 줄이면서 고해상도 비디오 처리 성능을 최적화할 수 있습니다.

기존 360도 영상 인코딩 방식은 모든 영상을 전처리하여 결합하는 비효율성이 있었습니다. 본 기술은 복수의 시점 영상과 이들을 결합하는 특징 정보 및 맵핑 정보를 각각 인코딩하고 디코딩하는 방식을 제안합니다. 인코더는 복수의 영상을 별도로 인코딩하고, 특징 정보 및 맵핑 파라미터 정보를 함께 전송합니다. 디코더는 수신된 비트스트림에서 특징 정보로 영상을 스티칭하고, 맵핑 정보로 360도 영상을 생성합니다. 이 기술은 사용자의 선택에 따라 단일 시점, 다시점(3D), 또는 360도 VR 영상 등 다양한 형태로 영상을 유연하게 제공하여 실감 미디어 서비스의 효율성과 활용성을 크게 향상시킵니다.