استخراج ویژگی‌های عمیق بلندمدت برای طبقه‌بندی ویدیو

چکیده مقاله :

در اين مقاله، رويکردي نوين براي شناسايي کنش هاي در حال انجام از ويديوهاي بخش¬بندي¬شده ارائه مي¬شود. تمرکز اصلي بر استخراج ويژگي¬هاي بلندمدت از ويديوها به منظور طبقه¬بندي موثر آنها است. بدين منظور، ابتدا تصاوير جريان نوري ميان فريم¬هاي متوالي محاسبه و با يک شبکه عصبي کانولوشني از پيش آموزش¬ديده توصيف مي¬شوند. براي کاهش پيچيدگي فضاي ويژگي و ساده¬سازي يادگيري مدل زماني، کاهش بعد PCA بر روي بردارهاي توصيفي جريان نوري اعمال مي¬گردد. سپس به منظور پالايش ورودي، يک ماژول توجه کانالي سبک وزن بر بردارهاي کم بعد حاصل از PCA در هر گام زماني اعمال مي¬شود تا مولفه¬هاي اطلاعاتي تقويت و مولفه¬هاي کم اثر تضعيف شوند. در ادامه، توصيفگرهاي هر ويديو هم¬راستا شده و در راستاي زمان دنبال مي¬شوند و استخراج ويژگي¬هاي بلندمدت با آموزش يک شبکه LSTM دو لايه پشته‌اي انجام مي‌پذيرد. پس از LSTM، يک ماژول توجه زماني به عنوان تجميع آگاه به زمان به کار گرفته مي‌شود تا با وزن دهي داده محور به گام‌هاي زماني، لحظات اطلاع¬رسان را برجسته کرده و يک بردار منسجم براي طبقه‌بندي بسازد. نتايج تجربي نشان مي¬دهد که ترکيب PCA به همراه توجه کانالي و توجه زماني ضمن حفظ سبک وزني مدل، دقت طبقه¬بندي را در هر دو مجموعه داده عمومي 11UCF  و jHMDB بهبود مي¬بخشد و عملکرد بهتري نسبت به روش¬هاي مرجع ارائه مي‌کند. کد مورد استفاده در این مقاله، به صورت دسترسی باز قابل در دسترس¬است.

چکیده انگلیسی :

This paper presents a novel approach for recognizing ongoing actions from segmented videos, with the main focus on extracting long-term features for effective classification. First, optical-flow images between consecutive frames are computed and described by a pretrained convolutional neural network. To reduce feature-space complexity and simplify training of the temporal model, PCA is applied to the optical-flow descriptors. Next, a lightweight channel-attention module is applied to the low-dimensional PCA features at each time step to enhance informative components and suppress weak ones. The descriptors of each video are then aligned and followed over time, forming a multi-channel 1D time series from which long-term patterns are learned using a two-layer stacked LSTM. After the LSTM, a temporal-attention module performs time-aware aggregation by weighting informative time steps to produce a coherent context vector for classification. Experiments show that combining PCA with channel and temporal attention improves accuracy on the public UCF11 and jHMDB datasets while keeping the model lightweight and outperforming reference methods. The code is available at: https://github.com/alijavidani/Video_Classification_LSTM