ההנחה המרקובית היא שכדי לחשב במדויק את ההסתברות לקבל אירוע X אחרי רצף n אירועים יש לחשב את ההסתברות המדויקת של כל תתי הרצפים עד לרצף באורך n