شبکه های عصبی بازگشتی

به نوعی از شبکه های عصبی گویند که برای تصمیم گیری های زمان حال خود بایستی از لایه های قبلی(کوتاه مدت) استفاده نموده و سپس تصمیم بگیرند مثلا درجمله "امروز آفتابی است هوا" یک مدل زبانی ساخته شده است که تلاش می شود کلمه با توجه به کلمات پیشین استفاده شده پیش بینی شود بنابراین در جمله فوق الذکر با توجه به دو سه کلمه پیشین میتوان کلمه هوا را پیش بینی نمود، بنابراین طبق این ساختار یادگیری که بازگشتی نام دارد نیازی نیست برای درک جمله در خواندن یا نوشتن هر کلمه هر بار که بخواهد کلمه جدیدی به جمله اضافه شود مغز انسان ریست شود و یا به مرجعی رجوع شو ، مغز با استفاده از دو و یا سه کلمه پیشین استفاده شده کلمه بعدی را حدس می زند.که در شکل زیر یک نمونه از شبکه عصبی بازگشتی آورده شده است.  

و اما در مواقعی ممکن است مواردی وجود داشته باشد که به اطلاعات بیشتری نسبت به دو یا سه کلمه پیشین نیاز باشد مثلا در جمله"من در کشور فرانسه بدنیا آمدم و در همینجا به مدرسه رفتم و هم اکنون زندگی می کنم در فرانسه" اگر خواسته شود که بطور دقیق کلمه آخر حدس زده شود بایستی به ده یا بیست کلمه برگشت. یعنی برای حدس کلمه فرانسه به اطلاعات دورتری نیاز است بطور کلی وقتی که فاصله بین اطلاعات موردنیاز و اطلاعات مرتبط پیشین زیاد شود قدرت شبکه عصبی بازگشتی در یادآوری و اطلاعاتی که در گذشته دورتر بیاد آورده است کاهش می یابد و یا بعبارتی توانایی استفاده از اطلاعات گذشته دورتر را ندارد، برای همین منظور شبکه های LSTM که مخفف Long Short Term Memory  هست و قدرت یادگیری وابستگی های بلند مدت را داراست اولین بار توسط  Hochreiter و Schmidhuber در سال 1997 معرفی گردید.(شکل زیر)

که بعدا در مورد آن بحث خواهد شد.