بعضی از پیش زمینه های شبکه عصبی را می توان به اوایل قرن بیستم و اواخر قرن نوزدهم برگرداند. در این دوره ، کارهای اساسی در فیزیک ، روانشناسی و نروفیزیولوژی توسط علمایی چون هرمان فون هلمهلتز ، ارنست ماخ و ایوان پاولف صورت پذیرفت. این کارهای اولیه عموماً بر تئوریهای کلی یادگیری ، بینایی و شرطی تأکید داشته اند و اصلاً به مدلهای مشخص ریاضی عملکرد نرونها اشاره ای نداشته اند.
دیدگاه جدید شبکه های عصبی در دهۀ 40 قرن بیستم آغاز شد زمانی که وارن مک کلوث و والترپیتز نشان دادند که شبکه های عصبی می توانند هر تابع حسابی و منطقی را محاسبه نمایند. کار این افراد را می توان نقطۀ شروع حوزۀ علمی شبکه های عصبی مصنوعی نامید و این موضوع با دونالد هب ادامه یافت ؛ شخصی که عمل شرط گذاری کلاسیک را که توسط پاولف مطرح شده بود به عنوان خواص نرونها معرفی نمود و سپس مکانیسمی را جهت یادگیری نرونهای بیولوژیکی ارائه داد.
مغز آدمی شامل بیش از ده بیلیون نرون می باشد که هر کدام از آنها به طور متوسط به چندین هزار نرون دیگر متصل می باشد. این اتصالات تحت عنوان سیناپس شناخته می شوند. مغز انسان شامل حدود 60 ترلیون از این پیوندها می باشد.
نرون ها دو نوع می باشند. نرون های داخلی مغز که در فاصله های حدود 100 میکرون به یکدیگر متصل اند و نرون های خارجی که قسمت های مختلف مغز را به یکدیگر و مغز را به ماهیچه ها و اعضای حسی را به مغز متصل می کنند.
نرون ها در واقع المان های پردازش و بسیار ساده می باشند. هر نرون شامل یک سوما که بدنه نرون می باشد ، یک آکسون و چند دندریت می باشد.
تصور می شود یادگیری هنگامی صورت می گیرد که شدت اتصال یک سلول و سلول دیگر در محل سیناپس ها اصلاح می گردد.
به نظر می رسد که این مقصود از طریق ایجاد سهولت بیشتر در میزان آزاد شدن ناقل شیمیایی حاصل می گردد. این حالت باعث می شود که دروازه های بیشتری روی دندریت های سمت مقابل باز شود و به این صورت باعث افزایش میزان اتصال دو سلول شود. تغییر میزان اتصال نرون ها به صورتی که باعث تقویت تماس های مطلوب شود از مشخصه های مهم در مدلهای شبکه های عصبی است.