Downloading the dataset
In [ ]:
# Imports Pytorch.
import torch
import torch.nn as nn
from nltk.translate.bleu_score import sentence_bleu
In [ ]:
#Downloads the dataset.
#use 2 books to train
import urllib
books = [urllib.request.urlretrieve("https://www.gutenberg.org/cache/epub/14155/pg14155.txt")[0],urllib.request.urlretrieve("https://www.gutenberg.org/cache/epub/17489/pg17489.txt")[0]]
for d in books:
print(d)
/tmp/tmpq6j7vrcn /tmp/tmpdnkzs05v
In [ ]:
# Prints the first 200 lines in the file with their line number.
# This shows that we have a little bit of preprocessing to do in order to clean the data.
filename = books[0]
with open(filename,encoding="utf-8") as f:
for i in range(200):
print(f"[{i}] {f.readline()}", end='')
[0] The Project Gutenberg EBook of Madame Bovary, by Gustave Flaubert [1] [2] This eBook is for the use of anyone anywhere at no cost and with [3] almost no restrictions whatsoever. You may copy it, give it away or [4] re-use it under the terms of the Project Gutenberg License included [5] with this eBook or online at www.gutenberg.org [6] [7] [8] Title: Madame Bovary [9] [10] Author: Gustave Flaubert [11] [12] Release Date: November 26, 2004 [EBook #14155] [13] [Last updated: November 28, 2011] [14] [15] [16] Language: French [17] [18] [19] *** START OF THIS PROJECT GUTENBERG EBOOK MADAME BOVARY *** [20] [21] [22] [23] [24] Produced by Ebooks libres et gratuits at http://www.ebooksgratuits.com [25] [26] [27] [28] [29] [30] Gustave Flaubert [31] MADAME BOVARY [32] [33] [34] (1857) [35] [36] [37] Table des matières [38] [39] PREMIÈRE PARTIE [40] I [41] II [42] III [43] IV [44] V [45] VI [46] VII [47] VIII [48] IX [49] DEUXIÈME PARTIE [50] I [51] II [52] III [53] IV [54] V [55] VI [56] VII [57] VIII [58] IX [59] X [60] XI [61] XII [62] XIII [63] XIV [64] XV [65] TROISIÈME PARTIE [66] I [67] II [68] III [69] IV [70] V [71] VI [72] VII [73] VIII [74] IX [75] X [76] XI [77] [78] [79] À Marie-Antoine-Jules Senard [80] [81] MEMBRE DU BARREAU DE PARIS EX-PRESIDENT DE L'ASSEMBLÉE NATIONALE [82] ET ANCIEN MINISTRE DE L'INTÉRIEUR [83] [84] Cher et illustre ami, [85] [86] Permettez-moi d'inscrire votre nom en tête de ce livre et au- [87] dessus même de sa dédicace; car c'est à vous, surtout, que j'en [88] dois la publication. En passant par votre magnifique plaidoirie, [89] mon oeuvre a acquis pour moi-même comme une autorité imprévue. [90] Acceptez donc ici l'hommage de ma gratitude, qui, si grande [91] qu'elle puisse être, ne sera jamais à la hauteur de votre [92] éloquence et de votre dévouement. [93] [94] GUSTAVE FLAUBERT [95] [96] Paris, 12 avril 1857 [97] [98] [99] À Louis Bouilhet [100] [101] [102] PREMIÈRE PARTIE [103] [104] [105] I [106] [107] Nous étions à l'Étude, quand le Proviseur entra, suivi d'un [108] nouveau habillé en bourgeois et d'un garçon de classe qui portait [109] un grand pupitre. Ceux qui dormaient se réveillèrent, et chacun se [110] leva comme surpris dans son travail. [111] [112] Le Proviseur nous fit signe de nous rasseoir; puis, se tournant [113] vers le maître d'études: [114] [115] -- Monsieur Roger, lui dit-il à demi-voix, voici un élève que je [116] vous recommande, il entre en cinquième. Si son travail et sa [117] conduite sont méritoires, il passera dans les grands, où l'appelle [118] son âge. [119] [120] Resté dans l'angle, derrière la porte, si bien qu'on l'apercevait [121] à peine, le nouveau était un gars de la campagne, d'une quinzaine [122] d'années environ, et plus haut de taille qu'aucun de nous tous. Il [123] avait les cheveux coupés droit sur le front, comme un chantre de [124] village, l'air raisonnable et fort embarrassé. Quoiqu'il ne fût [125] pas large des épaules, son habit-veste de drap vert à boutons [126] noirs devait le gêner aux entournures et laissait voir, par la [127] fente des parements, des poignets rouges habitués à être nus. Ses [128] jambes, en bas bleus, sortaient d'un pantalon jaunâtre très tiré [129] par les bretelles. Il était chaussé de souliers forts, mal cirés, [130] garnis de clous. [131] [132] On commença la récitation des leçons. Il les écouta de toutes ses [133] oreilles, attentif comme au sermon, n'osant même croiser les [134] cuisses, ni s'appuyer sur le coude, et, à deux heures, quand la [135] cloche sonna, le maître d'études fut obligé de l'avertir, pour [136] qu'il se mît avec nous dans les rangs. [137] [138] Nous avions l'habitude, en entrant en classe, de jeter nos [139] casquettes par terre, afin d'avoir ensuite nos mains plus libres; [140] il fallait, dès le seuil de la porte, les lancer sous le banc, de [141] façon à frapper contre la muraille en faisant beaucoup de [142] poussière; c'était là le genre. [143] [144] Mais, soit qu'il n'eût pas remarqué cette manoeuvre ou qu'il n'eut [145] osé s'y soumettre, la prière était finie que le nouveau tenait [146] encore sa casquette sur ses deux genoux. C'était une de ces [147] coiffures d'ordre composite, où l'on retrouve les éléments du [148] bonnet à poil, du chapska, du chapeau rond, de la casquette de [149] loutre et du bonnet de coton, une de ces pauvres choses, enfin, [150] dont la laideur muette a des profondeurs d'expression comme le [151] visage d'un imbécile. Ovoïde et renflée de baleines, elle [152] commençait par trois boudins circulaires; puis s'alternaient, [153] séparés par une bande rouge, des losanges de velours et de poils [154] de lapin; venait ensuite une façon de sac qui se terminait par un [155] polygone cartonné, couvert d'une broderie en soutache compliquée, [156] et d'où pendait, au bout d'un long cordon trop mince, un petit [157] croisillon de fils d'or, en manière de gland. Elle était neuve; la [158] visière brillait. [159] [160] -- Levez-vous, dit le professeur. [161] [162] Il se leva; sa casquette tomba. Toute la classe se mit à rire. [163] [164] Il se baissa pour la reprendre. Un voisin la fit tomber d'un coup [165] de coude, il la ramassa encore une fois. [166] [167] -- Débarrassez-vous donc de votre casque, dit le professeur, qui [168] était un homme d'esprit. [169] [170] Il y eut un rire éclatant des écoliers qui décontenança le pauvre [171] garçon, si bien qu'il ne savait s'il fallait garder sa casquette à [172] la main, la laisser par terre ou la mettre sur sa tête. Il se [173] rassit et la posa sur ses genoux. [174] [175] -- Levez-vous, reprit le professeur, et dites-moi votre nom. [176] [177] Le nouveau articula, d'une voix bredouillante, un nom [178] inintelligible. [179] [180] -- Répétez! [181] [182] Le même bredouillement de syllabes se fit entendre, couvert par [183] les huées de la classe. [184] [185] -- Plus haut! cria le maître, plus haut! [186] [187] Le nouveau, prenant alors une résolution extrême, ouvrit une [188] bouche démesurée et lança à pleins poumons, comme pour appeler [189] quelqu'un, ce mot: Charbovari. [190] [191] Ce fut un vacarme qui s'élança d'un bond, monta en crescendo, avec [192] des éclats de voix aigus (on hurlait, on aboyait, on trépignait, [193] on répétait: Charbovari! Charbovari!), puis qui roula en notes [194] isolées, se calmant à grand-peine, et parfois qui reprenait tout à [195] coup sur la ligne d'un banc où saillissait encore çà et là, comme [196] un pétard mal éteint, quelque rire étouffé. [197] [198] Cependant, sous la pluie des pensums, l'ordre peu à peu se [199] rétablit dans la classe, et le professeur, parvenu à saisir le nom
In [ ]:
skiping_para = ["PREMIÈRE PARTIE","Livre premier--Un juste"]
end_para = ["End of the Project Gutenberg EBook of Madame Bovary, by Gustave Flaubert","End of the Project Gutenberg EBook of Les misérables Tome I, by Victor Hugo"]
import re # Regular expression library
roman_regex = re.compile('^M{0,4}(CM|CD|D?C{0,3})(XC|XL|L?X{0,3})(IX|IV|V?I{0,3})$') # This regular expression matches Roman numerals but also the empty string.
EOP = '\n' # The end-of-line character will be used to mark the end of paragraphs.
book_1 = books[0]
book_2 = books[1]
def make_paragraphs(filename):
with open(filename,encoding="utf-8") as f:
# skip everything before the actual text of the novel.
# The line "PREMIÈRE PARTIE" appears twice: in the table of content and then at the start of the first part of the actual text.
# The following lines discard everything up to this second occurence (included).
skip = 2
while(skip > 0):
line = f.readline().strip()
if(line in skiping_para): skip -= 1;
paragraphs = [] # each dialog line will be considered a separate paragraph.
paragraph_buffer = [] # List[str]; each element corresponds to a line in the original text file + an additonal space if necessary.
while(True):
line = f.readline().strip()
if(line in end_para): break # End of the actual text.
if(line == ""): #the end of a paragraph.
if(len(paragraph_buffer) > 0):
paragraph_buffer.append(EOP) # End of the paragraph.
paragraph = "".join(paragraph_buffer) # The different lines that make up the paragraph are joined into a single string.
paragraphs.append(paragraph)
paragraph_buffer = []
continue
if(roman_regex.match(line)): continue # Ignores the lines that indicate the beginning of a chapter.
if(line.endswith(" PARTIE")): continue # Ignores the lines that indicate the beginning of a part.
if((len(paragraph_buffer) > 0) and (paragraph_buffer[-1][-1] != '-')): paragraph_buffer.append(' ') # Adds a space between consecutive lines except when the first one ends with "-" (e.g. if the word "pomme-de-terre" is split with "pomme-de-" at the end of a line and "terre" at the beginning of the next, we do not want to join the two lines with a space).
paragraph_buffer.append(line)
return paragraphs
paragraphs = make_paragraphs(book_1)
paragraphs_2 = make_paragraphs(book_2)
print(f"{len(paragraphs)} paragraphs read.")
for i in range(3): print(paragraphs[i], end='')
2995 paragraphs read. Nous étions à l'Étude, quand le Proviseur entra, suivi d'un nouveau habillé en bourgeois et d'un garçon de classe qui portait un grand pupitre. Ceux qui dormaient se réveillèrent, et chacun se leva comme surpris dans son travail. Le Proviseur nous fit signe de nous rasseoir; puis, se tournant vers le maître d'études: -- Monsieur Roger, lui dit-il à demi-voix, voici un élève que je vous recommande, il entre en cinquième. Si son travail et sa conduite sont méritoires, il passera dans les grands, où l'appelle son âge.
In [ ]:
import collections
import numpy as np
# Computes the frequency of all characters in the dataset.
def count_char(g):
char_counts = collections.defaultdict(int)
for paragraph in g:
for char in paragraph: char_counts[char] += 1
return char_counts
paragraphs_all = paragraphs.copy()
paragraphs_all.extend(paragraphs_2)
char_counts = count_char (paragraphs_all)
print(f"{len(char_counts)} different characters found in the dataset.")
print(sorted(char_counts.items(), key=(lambda x: x[1]), reverse=True)) # Shows each character with its frequency, in decreasing frequency order.
102 different characters found in the dataset.
[(' ', 216077), ('e', 151088), ('a', 86232), ('s', 80014), ('t', 77066), ('i', 75967), ('n', 69471), ('r', 65834), ('u', 64636), ('l', 62639), ('o', 52942), ('d', 36323), ('c', 28988), ('m', 28812), ('p', 26509), (',', 21198), ('é', 18018), ('v', 17966), ("'", 15056), ('.', 12908), ('q', 11734), ('f', 10856), ('h', 10329), ('b', 10209), ('g', 9056), ('-', 8446), ('\n', 5873), ('à', 5392), ('x', 4063), ('j', 3775), ('y', 3326), ('è', 3324), ('ê', 2758), ('!', 2375), (';', 2267), ('C', 2156), ('L', 2145), ('I', 2108), ('E', 2096), ('M', 1925), ('z', 1615), ('?', 1195), (':', 1097), ('J', 1057), ('A', 1007), ('P', 894), ('D', 846), ('â', 816), ('ç', 813), ('V', 751), ('S', 742), ('B', 680), ('O', 637), ('T', 620), ('î', 602), ('ù', 576), ('û', 576), ('ô', 567), ('Q', 559), ('_', 556), ('F', 465), ('R', 401), ('N', 340), ('«', 335), ('H', 330), ('U', 323), ('»', 262), ('À', 203), ('G', 185), ('1', 124), ('Y', 89), ('É', 84), ('ï', 83), ('(', 69), (')', 69), ('8', 56), ('X', 47), ('9', 32), ('2', 30), ('k', 29), ('7', 26), ('3', 26), ('5', 25), ('"', 22), ('Ç', 19), ('Ô', 19), ('6', 18), ('Z', 18), ('4', 15), ('ë', 14), ('Ê', 13), ('0', 13), ('W', 9), ('*', 8), ('ü', 7), ('°', 7), ('w', 6), ('Â', 2), ('ñ', 2), ('È', 2), ('Î', 1), ('/', 1)]
In [ ]:
# build a dictionary 'char_vocabulary' that assigns an integer id to each character, along with list/array 'id_to_char' that implement the reverse mapping.
#################
def make_maps(char_counts):
id_to_char = []
char_vocabulary = {}
for char in char_counts.keys():
id_to_char.append(char)
id_to_char.remove(EOP) # [Timothée Bernard] ?? à expliquer
id_to_char.append(EOP) # [Timothée Bernard] ?? à expliquer
id_to_char.append('<p>') # [Timothée Bernard] ?? à expliquer
for char in id_to_char:
char_vocabulary[char] = id_to_char.index(char)
return id_to_char,char_vocabulary
id_to_char,char_vocabulary = make_maps(char_counts)
#################
In [ ]:
EOP_id = char_vocabulary[EOP] # Id for the end-of-paragraph symbol
PAD_id = char_vocabulary['<p>']
print(f"EOP_id = {EOP_id}")
EOP_id = 101
In [ ]:
# Turns a list of lists of ids into a list of strings.
def ids_to_texts(ids):
# Turn each list of character ids of 'ids' into a string and then return all strings as a list.
#################
return ["".join([''.join([id_to_char[id]]) for id in l]) for l in ids]
#################
In [ ]:
ps = ["Bonjour.", "Comment allez vous ?"]
ids = [[char_vocabulary[c] for c in p] for p in ps]
print(ids)
print(ids_to_texts(ids))
print(f"'ids_to_texts(ids) == ps' should be True: {ids_to_texts(ids) == ps}")
[[60, 1, 8, 40, 1, 2, 19, 27], [28, 1, 30, 30, 14, 8, 6, 4, 17, 10, 10, 14, 44, 4, 20, 1, 2, 3, 4, 61]] ['Bonjour.', 'Comment allez vous ?'] 'ids_to_texts(ids) == ps' should be True: True
In [ ]:
ps = ["Bonjour.", "Comment allez vous ?"]
ids = [[char_vocabulary[c] for c in p] for p in ps]
ids[0].extend([EOP_id, (EOP_id+1), (EOP_id+1)]) # With the end-of-paragraph token id and some padding ids for the first string.
print(ids)
print(ids_to_texts(ids))
print(f"'ids_to_texts(ids) == ps' should be True: {ids_to_texts(ids) == ps}") # [Timothée Bernard] Le test n'est pas réussi mais vous vous en moquez ?
[[60, 1, 8, 40, 1, 2, 19, 27, 101, 102, 102], [28, 1, 30, 30, 14, 8, 6, 4, 17, 10, 10, 14, 44, 4, 20, 1, 2, 3, 4, 61]] ['Bonjour.\n<p><p>', 'Comment allez vous ?'] 'ids_to_texts(ids) == ps' should be True: False
Batch generator¶
In [ ]:
# Defines a class of objects that produce batches from the dataset.
# A training instance is composed of a pair of consecutive paragraphs. The goal will be to predict the second given the first.
# (Possible improvement: As is, ends of chapter are completely ignored: the last paragraph of a chapter and the first of the following chapter form a training instance. We might want to predict the end of the chapter instead, or simply remove these pairs from the dataset.)
class BatchGenerator:
def __init__(self, paragraphs, char_vocabulary):
self.paragraphs = paragraphs
self.char_vocabulary = char_vocabulary # Dictionary
self.padding_idx = len(char_vocabulary) - 1
# Returns the number of training instances (i.e. of pairs of consecutive paragraphs).
def length(self):
return (len(self.paragraphs) - 1)
# Returns a random training batch (composed of pairs of consecutive paragraphs).
# If `subset` is an integer, only a subset of the corpus is used. This can be useful to debug the system.
def get_batch(self, batch_size, subset=None):
max_i = self.length() if(subset is None) else min(subset, self.length())
paragraph_ids = np.random.randint(max_i, size=batch_size) # Randomly picks some paragraph ids.
return self._ids_to_batch(paragraph_ids)
def _ids_to_batch(self, paragraph_ids):
firsts = [] # First paragraph of each pair
seconds = [] # Second paragraph of each pair
for paragraph_id in paragraph_ids:
firsts.append([self.char_vocabulary[char] for char in self.paragraphs[paragraph_id]])
seconds.append([self.char_vocabulary[char] for char in self.paragraphs[paragraph_id + 1]])
# Padding
self.pad(firsts)
self.pad(seconds)
firsts = torch.tensor(firsts, dtype=torch.long) # Conversion to a tensor
seconds = torch.tensor(seconds, dtype=torch.long) # Conversion to a tensor
return (firsts, seconds)
# Pads a list of lists (i.e. adds fake word ids so that all sequences in the batch have the same length, so that we can use a matrix to represent them).
# In place
def pad(self, sequences):
max_length = max([len(s) for s in sequences])
for s in sequences: s.extend([self.padding_idx] * (max_length - len(s)))
# Returns a generator of training batches for a full epoch.
# If `subset` is an integer, only a subset of the corpus is used. This can be useful to debug the system.
def all_batches(self, batch_size, subset=None):
max_i = self.length() if(subset is None) else min(subset, self.length())
# Loop that generates all full batches (batches of size 'batch_size')
i = 0
while((i + batch_size) <= max_i):
instance_ids = np.arange(i, (i + batch_size))
yield self._ids_to_batch(instance_ids)
i += batch_size
# Possibly generates the last (not full) batch.
if(i < max_i):
instance_ids = np.arange(i, max_i)
yield self._ids_to_batch(instance_ids)
# Turns a list of arbitrary paragraphs into a prediction batch.
def turn_into_batch(self, paragraphs):
firsts = []
for paragraph in paragraphs:
# Unknown characters are ignored (removed).
tmp = []
for char in paragraph:
if(char in self.char_vocabulary): tmp.append(self.char_vocabulary[char])
if(tmp[-1] != EOP_id): tmp.append(EOP_id) # Adds an end-of-paragraph character if necessary.
firsts.append(tmp)
self.pad(firsts)
return torch.tensor(firsts, dtype=torch.long)
batch_generator = BatchGenerator(paragraphs=paragraphs, char_vocabulary=char_vocabulary)
print(batch_generator.length())
2994
In [ ]:
(firsts, seconds) = batch_generator.get_batch(3)
print(firsts.size())
print(seconds.size())
print(ids_to_texts(firsts))
print(ids_to_texts(seconds))
torch.Size([3, 252]) torch.Size([3, 214]) ['-- Mais enfin, monsieur, fit Emma, vous aviez à me dire...?\n<p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p>', '-- Avec un sac de nuit.\n<p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p>', "-- Moi, je trouve, dit M. Lheureux (s'adressant au pharmacien, qui passait pour gagner sa place), que l'on aurait dû planter là deux mâts vénitiens: avec quelque chose d'un peu sévère et de riche comme nouveautés, c'eût été d'un fort joli coup d'oeil.\n"] ["-- C'est vrai, madame... Votre beau-père est mort!\n<p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p>", '-- Décidément, pensa Lheureux, il y a du grabuge là-dessous.\n<p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p><p>', "-- Certes, répondit Homais. Mais, que voulez-vous! c'est le maire qui a tout pris sous son bonnet. Il n'a pas grand goût, ce pauvre Tuvache, et il est même complètement dénué de ce qui s'appelle le génie des arts.\n"]
The model
In [ ]:
class Model(torch.nn.Module):
# 'size_vocabulary' does not include a padding character, but does include the end-of-paragraph one.
def __init__(self, vocabulary_size, EOP_id, embedding_size, lstm_hidden_size, lstm_layers, encoder_dropout_p = 0,decoder_dropout_p = 0 ,device='cpu'):
super().__init__()
self.vocabulary_size = vocabulary_size
self.EOP_id = EOP_id
self.embedding_size = embedding_size
self.hidden_size = lstm_hidden_size
self.lstm_layers = lstm_layers
self.encoder_dropout_p = encoder_dropout_p
self.decoder_dropout_p = decoder_dropout_p
self.device = device
# At prediction time, this index is used to stop the generation at the end of the paragraph.
self.char_embeddings = nn.Embedding(self.vocabulary_size,
self.embedding_size,
padding_idx = self.vocabulary_size -1
).to(self.device)
self.encoder_lstm = nn.LSTM(input_size = self.embedding_size,
hidden_size = self.hidden_size,
batch_first = True,
bidirectional = True,
num_layers = self.lstm_layers,
dropout = self.encoder_dropout_p).to(self.device)
self.decoder_lstm = nn.LSTM(input_size= self.embedding_size,
hidden_size = self.hidden_size,
batch_first=True,
num_layers = self.lstm_layers,
dropout = self.decoder_dropout_p).to(self.device)
self.decoder_initialiser = nn.Linear(in_features= self.hidden_size*2,out_features= self.hidden_size).to(self.device)
self.distribution_nn = nn.Sequential(*[nn.Linear(in_features= self.hidden_size,out_features= self.vocabulary_size),
nn.LogSoftmax(dim=-1)
]).to(self.device)
self.dropout = nn.Dropout(self.encoder_dropout_p).to(self.device)
#################
# 'in_paragraphs' is a matrix (batch size, max in length) of character ids (Integer).
# 'out_paragraphs' is None at prediction time or a matrix (batch size, max out length) of character ids (Integer) at training time. Assume it does not include the final end-of-paragraph character.
#this is for beam search,it build top k candidate at each time step (k is the beam width)
#it returns a list of k tuples : (candidate's real vocab_id,it's cumulative log probability,the beam position of previous candidate who generate this candidate)
def find_topk (self,cumulative_logp,beam_size):
flatten = cumulative_logp.view(1,-1)
topk_logp,topkid = torch.topk(flatten,k=beam_size)
topk_logp = topk_logp.squeeze() if beam_size >1 else topk_logp
topkid = topkid.squeeze() if beam_size >1 else topkid
new_candidate = []
if beam_size > 1:
for i in range(0,beam_size):
beampos = int((topkid[i])/cumulative_logp.size(1))
real_id = topkid[i]-beampos*cumulative_logp.size(1)
new_candidate.append((real_id,topk_logp[i],beampos))
else:
new_candidate.append((topkid,topk_logp,0))
return new_candidate
#Build a text_id list given the initial_candidate
#Since beampos is an indication of the parent node,it uses this information to retrieve text_ids from the initial_candidate
def build_from_candidate(self,candidates,initial_candidate,initial_index):
text_ids = [initial_candidate[0]] if initial_candidate[0] != self.EOP_id else []
beampos = initial_candidate[2]
candidates_slice = candidates[:initial_index][::-1]
for c in candidates_slice:
if c[beampos][0] == self.EOP_id:
break
text_ids.append(c[beampos][0])
beampos = c[beampos][2]
return text_ids[::-1]
#Get all possible predictions from candidates
#it return a list of tuples (log_p,text_ids)
def get_all_predictions(self,candidates,EOP_id):
predictions = []
index = 0
#Add the best prediction from the last time step:
best_guess = max(candidates[-1],key = lambda x : x[1])
predictions.append((best_guess[1],self.build_from_candidate(candidates,best_guess,len(candidates)-1)))
#Add all other possible predictions with EOP mark
for c in candidates:
index += 1
for tup in c:
if tup[0] == EOP_id:
predictions.append((tup[1],self.build_from_candidate(candidates,tup,index)))
return predictions
def add_first_char(self,out_paragraphs): # [Timothée Bernard] Que fait cette fonction ?
batch_size,max_length = out_paragraphs.size(0),out_paragraphs.size(1)
flatten = out_paragraphs.reshape(1,batch_size * max_length)[0] # [Timothée Bernard] ???????????????
first = torch.tensor([self.EOP_id],dtype=torch.long).to(self.device)
flatten = torch.cat((first,flatten[:-1])).to(self.device)
flatten = flatten.reshape(batch_size,max_length)
return flatten.to(self.device)
def find_last_char(self,l):
i = len(l)-1
while l[i]==self.vocabulary_size or l[i]==0:
i-=1
return l[i]
def forward(self, in_paragraphs, out_paragraphs=None, max_predicted_char=1000,beam_size = 1):
batch_size = in_paragraphs.size(0)
in_char_embeddings = self.dropout(self.char_embeddings(in_paragraphs)) # Shape: (batch_size, max length, embedding size)
#print(in_char_embeddings); print(in_char_embeddings.shape)
in_lengths = (in_paragraphs != self.char_embeddings.padding_idx).sum(axis=1) # Shape: (batch_size)
#print(in_lengths); print(in_lengths.shape)
in_char_embeddings = torch.nn.utils.rnn.pack_padded_sequence(input=in_char_embeddings, lengths=in_lengths.cpu(), batch_first=True, enforce_sorted=False) # Enables the LSTM to ignore padding elements.
# The input paragraphs are encoded; the final hidden and cell states of the network will be used to initialise the decoder after a little transformation.
_, (h_n, c_n) = self.encoder_lstm(in_char_embeddings) # 'h_n' and 'c_n' are both of shape (num_layers * 2, batch_size, lstm_unit)
# Concatenates the left-to-right and right-to-left final hidden states of the biLSTM.
h_n = h_n.view(self.encoder_lstm.num_layers, 2, batch_size, self.encoder_lstm.hidden_size) # The second dimension corresponds to left-to-right (0) and right-to-left (1).
#print(h_n); print(h_n.shape)
lr_h_n = h_n[:,0] # left-to-right; shape: (num_layers, batch_size, lstm_unit)
rl_h_n = h_n[:,1] # right-to-left; shape: (num_layers, batch_size, lstm_unit)
bi_h_n = torch.cat([lr_h_n, rl_h_n], axis=2) # Shape: (num_layers, batch_size, 2 * lstm_unit)
#print(bi_h_n); print(bi_h_n.shape)
# Concatenates the left-to-right and right-to-left final cell states of the biLSTM.
c_n = c_n.view(self.encoder_lstm.num_layers, 2, batch_size, self.encoder_lstm.hidden_size) # The second dimension corresponds to left-to-right (0) and right-to-left (1).
#print(c_n); print(c_n.shape)
lr_c_n = c_n[:,0] # left-to-right; shape: (num_layers, batch_size, lstm_unit)
rl_c_n = c_n[:,1] # right-to-left; shape: (num_layers, batch_size, lstm_unit)
bi_c_n = torch.cat([lr_c_n, rl_c_n], axis=2) # Shape: (num_layers, batch_size, 2 * lstm_unit)
#print(bi_c_n); print(bi_c_n.shape)
last_char = self.find_last_char(in_paragraphs[-1])
decoder_init_states = (self.decoder_initialiser(bi_h_n), self.decoder_initialiser(bi_c_n)) # These tensors are not only used to initialise the decoder but also (for the first tensor) to compute the probability distributions for the first character.
if(out_paragraphs is not None): # Training time: outputs the logits for each time step.
# Feed a packed sequence to the decoder (use 'torch.nn.utils.rnn.pack_padded_sequence' and 'torch.nn.utils.rnn.pad_packed_sequence').
#################
out_paragraphs = self.add_first_char(out_paragraphs)
out_char_embeddings = self.dropout((self.char_embeddings(out_paragraphs)))
out_lengths = (out_paragraphs != self.char_embeddings.padding_idx).sum(axis=1) # Shape: (batch_size)
out_char_embeddings = nn.utils.rnn.pack_padded_sequence(input=out_char_embeddings, lengths=out_lengths.cpu(), batch_first=True, enforce_sorted=False)
out,_ = self.decoder_lstm(out_char_embeddings,decoder_init_states)
out = nn.utils.rnn.pad_packed_sequence(out, batch_first=True)[0]
prediction = self.distribution_nn(out)
#################
else: # Prediction time: generates a text up to 'max_predicted_char' character long for each paragraph in the batch.
# Decode 'decoder_init_states' into a matrix a character ids (on line per input paragraph in the batch) and then convert it to string of actual characters.
#################
#Vectorized beam search : batch_size = beam_size,set beam_size to 1 to switch to the greedy search
dc_initial_token = self.char_embeddings(last_char).view(1,1,-1)
if decoder_init_states[0].size(1) > 1:
raise Exception ('Text generation do not support batch,please keep batch size = 1')
first_out,(h_n_dc,c_n_dc) = self.decoder_lstm(dc_initial_token,decoder_init_states) #h,c : nb_layers,beam_size,hidden_size
#expand hidden and cell to beam size
h_n_dc = h_n_dc.expand(-1,beam_size,-1).contiguous() if beam_size > 1 else h_n_dc
c_n_dc = c_n_dc.expand(-1,beam_size,-1).contiguous() if beam_size > 1 else c_n_dc
first_out = self.distribution_nn(first_out) #first_out : batch_size = 1,seq_len = 1,vocab_size
topk_logp,topk_id = torch.topk(first_out,k = beam_size)
#candidates is a list of topk log probability item in each time step,each candidate is a tuple of (candidate's vocab_id,candidate'scumulative log probability,candidate's "beam position")
#beampos(beam position) is a interger that points to the posistion of previous candidate (a.k.a parent node) who generates the current candidate,so it always < beam width
#beampos is crucial for the navigation
#beam_batch is a list of topk ids at each time step,it used as the input for the next time step (beam_batch is not necessarily contains all last candidates)
if beam_size == 1:
candidates = [[(topk_id.squeeze(),topk_logp.squeeze(),0)]]
beam_batch = [topk_id.squeeze()]
else:
candidates = [[(id,logp,beam_position) for id,logp,beam_position in zip(topk_id.squeeze(),topk_logp.squeeze(),range(beam_size))]]
beam_batch = [torch.tensor([c[0] for c in candidates[-1]]).to(self.device).view(beam_size,1)]
prev_logp = torch.tensor([c[1] for c in candidates[-1]]).view(-1,1).to(self.device)
for t in range(max_predicted_char):
out_char_embeddings = self.char_embeddings(beam_batch[-1])
if beam_size == 1:
out_char_embeddings = out_char_embeddings.view(1,1,-1)
out,(h_n_dc,c_n_dc) = self.decoder_lstm(out_char_embeddings,(h_n_dc,c_n_dc))
logp = self.distribution_nn(out) #beam_size ,seq_len = 1,vocab_size
logp = logp.squeeze() #beam_size ,vocab_size
cumulative_logp = 1/(t+1) * (prev_logp + logp) if beam_size >1 else logp #normalized by current seq length,so it won't prefer generating long sentence
new_candidate = self.find_topk(cumulative_logp = cumulative_logp,beam_size = beam_size)
new_beam_batch = [c[0] for c in new_candidate if c[0] != self.EOP_id] #only candidate with no EOP mark will be added to the new_beam_batch
if new_beam_batch == []: #if new_beam_batch is empty,that means all possible candidates beam reach the EOP mark
break
new_beam_batch = torch.tensor(new_beam_batch).view(len(new_beam_batch),1).to(self.device)
prev_logp = torch.tensor([c[1] for c in new_candidate if c[0] != self.EOP_id]).view(-1,1).to(self.device)
beampos = torch.tensor([c[2] for c in new_candidate if c[0]!= self.EOP_id]).to(self.device) #the beam position of ecah candidate indicates its "parent node"
#modifier the hidden and cell state according the beampos of the current candidate
#this step is crucial for getting the right result
h_n_dc = torch.index_select(input = h_n_dc,dim = 1,index = beampos) if beam_size > 1 else h_n_dc
c_n_dc = torch.index_select(input = c_n_dc,dim = 1,index = beampos) if beam_size > 1 else c_n_dc
candidates.append(new_candidate)
beam_batch.append(new_beam_batch)
#this use to retrieve the all possible generated text,including those candidate who reach EOP before the max generation length
#it will return a list of tuple : (log_proba,text_ids)
prediction = self.get_all_predictions(candidates,self.EOP_id)
#get the best text_ids
best_guess = max(prediction,key=lambda x : x[0])
#convert text_ids to text
prediction = (best_guess[0],ids_to_texts([[int(i) for i in best_guess[1]]]))
return prediction
In [ ]:
model = Model(vocabulary_size=len(char_vocabulary), EOP_id=EOP_id, embedding_size=19, lstm_hidden_size=13, lstm_layers=7 ,encoder_dropout_p = 0.2,decoder_dropout_p = 0.1,device='cpu')
In [ ]:
in_paragraphs = torch.tensor([(list(range(5)) + ([batch_generator.padding_idx] * 0))]).to(model.device)
print(in_paragraphs)
out_paragraphs = in_paragraphs
model(in_paragraphs, out_paragraphs)
in_paragraphs = torch.tensor([(list(range(5)) + ([batch_generator.padding_idx] * 10)), (list(range(10)) + ([batch_generator.padding_idx] * 5))]).to(model.device)
print(in_paragraphs)
out_paragraphs = in_paragraphs
model(in_paragraphs, out_paragraphs)
tensor([[0, 1, 2, 3, 4]])
tensor([[ 0, 1, 2, 3, 4, 102, 102, 102, 102, 102, 102, 102, 102, 102,
102],
[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 102, 102, 102, 102,
102]])
Out[ ]:
tensor([[[-4.8225, -4.4833, -4.9103, ..., -4.8653, -4.4773, -4.4805],
[-4.8453, -4.5073, -4.9151, ..., -4.8518, -4.5073, -4.4790],
[-4.8557, -4.5253, -4.9098, ..., -4.8471, -4.5250, -4.4802],
...,
[-4.8976, -4.4639, -4.9351, ..., -4.8051, -4.5296, -4.4583],
[-4.8976, -4.4639, -4.9351, ..., -4.8051, -4.5296, -4.4583],
[-4.8976, -4.4639, -4.9351, ..., -4.8051, -4.5296, -4.4583]],
[[-4.8316, -4.4788, -4.9124, ..., -4.8646, -4.4813, -4.4732],
[-4.8502, -4.5034, -4.9191, ..., -4.8496, -4.5077, -4.4752],
[-4.8559, -4.5177, -4.9235, ..., -4.8433, -4.5194, -4.4759],
...,
[-4.8725, -4.5295, -4.9197, ..., -4.8332, -4.5362, -4.4766],
[-4.8723, -4.5272, -4.9185, ..., -4.8377, -4.5373, -4.4743],
[-4.8727, -4.5261, -4.9178, ..., -4.8390, -4.5382, -4.4727]]],
grad_fn=<LogSoftmaxBackward0>)
In [ ]:
#The vectorized beam search do not support batch generation,the pro is ,since it dose not use loop,so the generation is much quicker
#lease keep batch size = 1 for generating text
batch = batch_generator.get_batch(2)
for b in batch:
t = model(b[0].view(1,-1).to(model.device), max_predicted_char=16)
print(t)
(tensor([[-4.3680]], grad_fn=<TopkBackward0>), ['UUUÔÔÔÔÔÔÔÔÔÔÔÔÔx']) (tensor([[-4.3665]], grad_fn=<TopkBackward0>), ['UUUÔÔÔÔÔÔÔÔÔÔÔÔÔÔ'])
Training¶
In [ ]:
# 'logits' is of shape (batch size, max paragraph length, vocabulary size)
# 'out_paragraphs' is of shape (batch size, max paragraph length)
def loss_function_logits(logits, out_paragraphs,pad_id = PAD_id):
# Use 'torch.nn.functional.nll_loss'.
# Computes an average over all tokens of the batch, but do not take into account distribution logits corresponding to padding characters.
#################
if logits.size(1) < out_paragraphs.size(1):
out_paragraphs = out_paragraphs[:,:-1]
batch_size,max_length,vocabulary_size = logits.size()
logits = logits.reshape(batch_size*max_length,vocabulary_size)
golden = out_paragraphs.reshape(batch_size*max_length)
#pad_mask = golden != pad_id
return torch.nn.functional.nll_loss(logits,golden,ignore_index=pad_id)
#################
In [ ]:
def evaluation(prediction,gold):
p_max = torch.argmax(prediction,dim = 2)
nb_correct = 0
total = 0
current_batch_size,seq_len = p_max.size()
flatten_pred = p_max.view(current_batch_size*seq_len)
flatten_out = gold[:,:-1].reshape(current_batch_size*seq_len) if seq_len< gold.size(1) else gold.reshape(batch_size*seq_len)
mask = (flatten_out!=PAD_id)
nb_correct +=torch.sum((flatten_out==flatten_pred)*mask)
total += torch.sum(mask)
accurracy = float(nb_correct)/float(total)
return accurracy
In [ ]:
batch = batch_generator.get_batch(2)
logits = model(batch[0].to(model.device), batch[1][:,:-1].to(model.device))
loss_function_logits(logits, batch[1].to(model.device))
Out[ ]:
tensor(4.7157, grad_fn=<NllLossBackward0>)
In [ ]:
model = Model(vocabulary_size=len(char_vocabulary), EOP_id=EOP_id, embedding_size=256, lstm_hidden_size=512, lstm_layers=1 ,encoder_dropout_p = 0.2,decoder_dropout_p = 0.1,device='cuda')
import time
ratio = lambda x : int(len(x)*0.9)
batch_generators = []
data = [paragraphs,paragraphs_2]
for d in data:
divide = ratio(d)
batch_generators.append((BatchGenerator(paragraphs=d[:divide], char_vocabulary=char_vocabulary),
BatchGenerator(paragraphs=d[divide:], char_vocabulary=char_vocabulary)))
for b in batch_generators:
print(f"BOOK:{b[0].length()}")
model.eval()
# Training procedure
learning_rate = 0.2
momentum = 0.99 # 0.99
l2_reg = 0.0001
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate, momentum=momentum, weight_decay=l2_reg) # Once the backward propagation has been done, call the 'step' method (with no argument) to update the parameters.
#optimizer = torch.optim.Adam(model.parameters(),lr=learning_rate,weight_decay=l2_reg)
batch_size = 64
subset = None # Use an integer to train on a smaller portion of the training set, otherwise use None.
for batch_generator in batch_generators:
epoch_size = batch_generator[0].length() if(subset is None) else subset # In number of instances
nb_epoch = 20
epoch_id = 0 # Id of the current epoch
instances_processed = 0 # Number of instances trained on in the current epoch
epoch_loss = [] # Will contain the loss for each batch of the current epoch
time_0 = time.time()
while(epoch_id < nb_epoch):
model.train()
model.zero_grad()
batch = batch_generator[0].get_batch(batch_size, subset=subset)
#print(ids_to_texts(batch[0])); print(ids_to_texts(batch[1]))
in_paragraphs = batch[0].to(model.device)
out_paragraphs = batch[1].to(model.device)
###################
prediction = model(in_paragraphs,out_paragraphs)
loss = loss_function_logits(prediction,out_paragraphs).to(model.device)
epoch_loss.append(loss.item())
loss.backward()
###################
optimizer.step() # Updates the parameters.
instances_processed += batch_size
if(instances_processed > epoch_size):
print(f"-- END OF EPOCH {epoch_id}.")
print(f"Average loss on training set: {sum(epoch_loss) / len(epoch_loss)}.")
model.eval()
validationn_batch = batch_generator[1].all_batches(32, subset=subset)
val_loss = []
val_accuracy = []
for b in validationn_batch:
val_in = b[0].to(model.device)
val_out = b[1].to(model.device)
val_prediction = model(val_in,val_out)
val_loss.append( loss_function_logits(val_prediction,val_out).to(model.device).item())
val_accuracy.append(evaluation(val_prediction,val_out))
print(f"Average accuracy on validation set:{sum(val_accuracy)/len(val_accuracy)}")
print(f"Average loss on validation set: {sum(val_loss) / len(val_loss)}.")
duration = time.time() - time_0
print(f"{duration} s elapsed (i.e. {duration / (epoch_id + 1)} s/epoch)")
# Example of generation
batch = batch_generator[0].get_batch(1, subset=subset)
first = ids_to_texts(batch[0])
second = ids_to_texts(batch[1])
generated = model(batch[0].to(model.device), max_predicted_char=512)
score = sentence_bleu(second, generated[1])
print(f"First: {first}") # Input paragraph
print(f"Second: {second}")
print(f"Generated: {generated[1]}") # Generated output paragraph.
print(f"BLEU score: {score}")
epoch_id += 1
instances_processed -= epoch_size
epoch_loss = []
epoch_accuracy = []
/usr/local/lib/python3.7/dist-packages/torch/nn/modules/rnn.py:65: UserWarning: dropout option adds dropout after all but last recurrent layer, so non-zero dropout expects num_layers greater than 1, but got dropout=0.2 and num_layers=1
"num_layers={}".format(dropout, num_layers))
/usr/local/lib/python3.7/dist-packages/torch/nn/modules/rnn.py:65: UserWarning: dropout option adds dropout after all but last recurrent layer, so non-zero dropout expects num_layers greater than 1, but got dropout=0.1 and num_layers=1
"num_layers={}".format(dropout, num_layers))
BOOK:2694 BOOK:2589 -- END OF EPOCH 0. Average loss on training set: 3.012395187865856. Average accuracy on validation set:0.29237121699484725 Average loss on validation set: 2.460491895675659. 63.578672647476196 s elapsed (i.e. 63.578672647476196 s/epoch) First: ['Il lut:\n'] Second: ["-- «Malgré les préjugés qui recouvrent encore une partie de la face de l'Europe comme un réseau, la lumière cependant commence à pénétrer dans nos campagnes. C'est ainsi que, mardi, notre petite cité d'Yonville s'est vue le théâtre d'une expérience chirurgicale qui est en même temps un acte de haute philanthropie. M. Bovary, un de nos praticiens les plus distingués...»\n"] Generated: ['ZZZnt part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part part pa'] BLEU score: 0 -- END OF EPOCH 1. Average loss on training set: 2.2898363726479665. Average accuracy on validation set:0.35861009597854787 Average loss on validation set: 2.1646236896514894. 125.59726095199585 s elapsed (i.e. 62.798630475997925 s/epoch) First: ['-- Que tu es charmante! dit-il en la saisissant dans ses bras.\n'] Second: ["-- Vrai? fit-elle avec un rire de volupté. M'aimes-tu? Jure-le donc!\n"] Generated: ['-- Emme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme d'] BLEU score: 0 -- END OF EPOCH 2. Average loss on training set: 2.0658981573014032. Average accuracy on validation set:0.40178302500672114 Average loss on validation set: 1.987095022201538. 189.44142413139343 s elapsed (i.e. 63.14714137713114 s/epoch) First: ["-- Ah! c'est qu'il y en a deux, répliqua-t-il. La petite, la convenue, celle des hommes, celle qui varie sans cesse et qui braille si fort, s'agite en bas, terre à terre, comme ce rassemblement d'imbéciles que vous voyez. Mais l'autre, l'éternelle, elle est tout autour et au-dessus, comme le paysage qui nous environne et le ciel bleu qui nous éclaire.\n"] Second: ["M. Lieuvain venait de s'essuyer la bouche avec son mouchoir de poche. Il reprit:\n"] Generated: ['-- Il se la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de la mardans de '] BLEU score: 0 -- END OF EPOCH 3. Average loss on training set: 1.9228323584511167. Average accuracy on validation set:0.43330973546156615 Average loss on validation set: 1.8774540305137635. 249.0309600830078 s elapsed (i.e. 62.25774002075195 s/epoch) First: ["Ce fut alors qu'elle prit sa main, et ils restèrent quelque temps les doigts entrelacés, -- comme le premier jour, aux Comices! Par un geste d'orgueil, il se débattait sous l'attendrissement. Mais, s'affaissant contre sa poitrine, elle lui dit:\n"] Second: ["-- Comment voulais-tu que je vécusse sans toi? On ne peut pas se déshabituer du bonheur! J'étais désespérée! j'ai cru mourir! Je te conterai tout cela, tu verras. Et toi... tu m'as fuie!...\n"] Generated: ['-- Elle se de son par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par les de se par l'] BLEU score: 0 -- END OF EPOCH 4. Average loss on training set: 1.832762638727824. Average accuracy on validation set:0.45007695309234447 Average loss on validation set: 1.806831431388855. 311.8661425113678 s elapsed (i.e. 62.37322850227356 s/epoch) First: ['-- Mais calme-toi! disait madame Homais.\n'] Second: ['Et Athalie, le tirant par sa redingote\n'] Generated: ["-- C'est par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les par les "] BLEU score: 0 -- END OF EPOCH 5. Average loss on training set: 1.761539291767847. Average accuracy on validation set:0.46643931154847956 Average loss on validation set: 1.751742672920227. 373.72744631767273 s elapsed (i.e. 62.28790771961212 s/epoch) First: ['-- Allons, bon voyage! leur dit-il, heureux mortels que vous êtes!\n'] Second: ["Puis, s'adressant à Emma, qui portait une robe de soie bleue à quatre falbalas:\n"] Generated: ["-- C'était de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comme de la comm"] BLEU score: 0 -- END OF EPOCH 6. Average loss on training set: 1.7087115191278004. Average accuracy on validation set:0.47817084481037825 Average loss on validation set: 1.702494752407074. 433.48710203170776 s elapsed (i.e. 61.92672886167254 s/epoch) First: ["-- Je le crois très bête. Elle en est fatiguée sans doute. Il porte des ongles sales et une barbe de trois jours. Tandis qu'il trottine à ses malades, elle reste à ravauder des chaussettes. Et on s'ennuie! on voudrait habiter la ville, danser la polka tous les soirs! Pauvre petite femme! Ça bâille après l'amour, comme une carpe après l'eau sur une table de cuisine. Avec trois mots de galanterie, cela vous adorerait; j'en suis sûr! ce serait tendre! charmant!... Oui, mais comment s'en débarrasser ensuite?\n"] Second: ["Alors les encombrements du plaisir, entrevus en perspective, le firent, par contraste, songer à sa maîtresse. C'était une comédienne de Rouen, qu'il entretenait; et, quand il se fut arrêté sur cette image, dont il avait, en souvenir même, des rassasiements:\n"] Generated: ['-- Ah! comme un par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le par le '] BLEU score: 0 -- END OF EPOCH 7. Average loss on training set: 1.6656943332581293. Average accuracy on validation set:0.48702536525502466 Average loss on validation set: 1.666870129108429. 494.0480580329895 s elapsed (i.e. 61.75600725412369 s/epoch) First: ["Charles prit les violettes, et, rafraîchissant dessus ses yeux tout rouges de larmes, il les humait délicatement. Elle les retira vite de sa main, et alla les porter dans un verre d'eau.\n"] Second: ["Le lendemain, madame Bovary mère arriva. Elle et son fils pleurèrent beaucoup. Emma, sous prétexte d'ordres à donner, disparut.\n"] Generated: ["-- C'est de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte "] BLEU score: 0 -- END OF EPOCH 8. Average loss on training set: 1.6348883310953777. Average accuracy on validation set:0.4964153690951704 Average loss on validation set: 1.6334491133689881. 554.035418510437 s elapsed (i.e. 61.55949094560411 s/epoch) First: ["Elle entra, comme autrefois, par la petite porte du parc, puis arriva à la cour d'honneur, que bordait un double rang de tilleuls touffus. Ils balançaient, en sifflant, leurs longues branches. Les chiens au chenil aboyèrent tous, et l'éclat de leurs voix retentissait sans qu'il parût personne.\n"] Second: ["Elle monta le large escalier droit, à balustres de bois, qui conduisait au corridor pavé de dalles poudreuses où s'ouvraient plusieurs chambres à la file, comme dans les monastères ou les auberges. La sienne était au bout, tout au fond, à gauche. Quand elle vint à poser les doigts sur la serrure, ses forces subitement l'abandonnèrent. Elle avait peur qu'il ne fût pas là, le souhaitait presque, et c'était pourtant son seul espoir, la dernière chance de salut. Elle se recueillit une minute, et, retrempant son courage au sentiment de la nécessité présente, elle entra.\n"] Generated: ['-- Ah! contre les propte de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la cours de la co'] BLEU score: 0 -- END OF EPOCH 9. Average loss on training set: 1.598639434292203. Average accuracy on validation set:0.5049684200144461 Average loss on validation set: 1.6038880228996277. 616.6100146770477 s elapsed (i.e. 61.66100146770477 s/epoch) First: ["Ils arrivèrent à la nuit tombante, comme on commençait à allumer des lampions dans le parc, afin d'éclairer les voitures.\n"] Second: ["Le château, de construction moderne, à l'Italienne, avec deux ailes avançant et trois perrons, se déployait au bas d'une immense pelouse où paissaient quelques vaches, entre des bouquets de grands arbres espacés, tandis que des bannettes d'arbustes, rhododendrons, seringas et boules-de-neige bombaient leurs touffes de verdure inégales sur la ligne courbe du chemin sablé. Une rivière passait sous un pont; à travers la brume, on distinguait des bâtiments à toit de chaume, éparpillés dans la prairie, que bordaient en pente douce deux coteaux couverts de bois, et par derrière, dans les massifs, se tenaient, sur deux lignes parallèles, les remises et les écuries, restes conservés de l'ancien château démoli.\n"] Generated: ['-- Eh! comme un autre de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les proches de la contre les'] BLEU score: 0 -- END OF EPOCH 10. Average loss on training set: 1.5628395884536033. Average accuracy on validation set:0.5143244772948148 Average loss on validation set: 1.5772834777832032. 678.2091236114502 s elapsed (i.e. 61.6553748737682 s/epoch) First: ["Pourtant il fallait que M. Lheureux s'en mêlât.\n"] Second: ["-- Écoutez donc! il me semble que, jusqu'à présent, j'ai été assez bon pour vous.\n"] Generated: ["-- C'est pas de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la perdue de la "] BLEU score: 0 -- END OF EPOCH 11. Average loss on training set: 1.541238234156654. Average accuracy on validation set:0.5183382059309489 Average loss on validation set: 1.55585857629776. 740.5967020988464 s elapsed (i.e. 61.716391841570534 s/epoch) First: ['Elle accoucha un dimanche, vers six heures, au soleil levant.\n'] Second: ["-- C'est une fille! dit Charles.\n"] Generated: ["-- C'est de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte "] BLEU score: 0 -- END OF EPOCH 12. Average loss on training set: 1.5146569808324177. Average accuracy on validation set:0.5258780130715135 Average loss on validation set: 1.524293601512909. 800.5711450576782 s elapsed (i.e. 61.58239577366756 s/epoch) First: ["-- M. Léon; disait le pharmacien, avec qui j'en causais l'autre jour, s'étonne que vous ne choisissiez point Madeleine, qui est excessivement à la mode maintenant.\n"] Second: ["Mais la mère Bovary se récria bien fort sur ce nom de pécheresse. M. Homais, quant à lui, avait en prédilection tous ceux qui rappelaient un grand homme, un fait illustre ou une conception généreuse, et c'est dans ce système-là qu'il avait baptisé ses quatre enfants. Ainsi, Napoléon représentait la gloire et Franklin la liberté; Irma, peut-être, était une concession au romantisme; mais Athalie, un hommage au plus immortel chef-d'oeuvre de la scène française. Car ses convictions philosophiques n'empêchaient pas ses admirations artistiques, le penseur chez lui n'étouffait point l'homme sensible; il savait établir des différences, faire la part de l'imagination et celle du fanatisme. De cette tragédie, par exemple, il blâmait les idées, mais il admirait le style; il maudissait la conception, mais il applaudissait à tous les détails, et s'exaspérait contre les personnages, en s'enthousiasmant de leurs discours. Lorsqu'il lisait les grands morceaux, il était transporté; mais, quand il songeait que les calotins en tiraient avantage pour leur boutique, il était désolé, et dans cette confusion de sentiments où il s'embarrassait, il aurait voulu tout à la fois pouvoir couronner Racine de ses deux mains et discuter avec lui pendant un bon quart d'heure.\n"] Generated: ['Et il se rentre la courait de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la charmes de la char'] BLEU score: 0 -- END OF EPOCH 13. Average loss on training set: 1.4787942965825398. Average accuracy on validation set:0.5340433028688625 Average loss on validation set: 1.4998236417770385. 862.7015783786774 s elapsed (i.e. 61.621541312762666 s/epoch) First: ["Et brusquement elle retira sa main, pour entrer dans la chapelle de la Vierge, où, s'agenouillant contre une chaise, elle se mit en prière.\n"] Second: ["Le jeune homme fut irrité de cette fantaisie bigote; puis il éprouva pourtant un certain charme à la voir, au milieu du rendez-vous, ainsi perdue dans les oraisons comme une marquise andalouse; puis il ne tarda pas à s'ennuyer, car elle n'en finissait.\n"] Generated: ["-- C'est pas le contre les partires de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la petite de la pet"] BLEU score: 0 -- END OF EPOCH 14. Average loss on training set: 1.4622118529819308. Average accuracy on validation set:0.5422341577239257 Average loss on validation set: 1.4739275574684143. 924.9272577762604 s elapsed (i.e. 61.661817185084026 s/epoch) First: ["-- Ah! c'est là la question! Telle est effectivement la question: _That is the question!_ comme je lisais dernièrement dans le journal.\n"] Second: ["Mais Emma, se réveillant, s'écria:\n"] Generated: ['-- Oh! continuait le pour le contre le porte de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la cheveux de la '] BLEU score: 0 -- END OF EPOCH 15. Average loss on training set: 1.432811907359532. Average accuracy on validation set:0.5494571598421778 Average loss on validation set: 1.4528467774391174. 986.3160555362701 s elapsed (i.e. 61.644753471016884 s/epoch) First: ["On était aux premiers jours d'octobre. Il y avait du brouillard sur la campagne. Des vapeurs s'allongeaient à l'horizon, entre le contour des collines; et d'autres, se déchirant, montaient, se perdaient. Quelquefois, dans un écartement des nuées, sous un rayon de soleil, on apercevait au loin les toits d'Yonville, avec les jardins au bord de l'eau, les cours, les murs, et le clocher de l'église. Emma fermait à demi les paupières pour reconnaître sa maison, et jamais ce pauvre village où elle vivait ne lui avait semblé si petit. De la hauteur où ils étaient, toute la vallée paraissait un immense lac pâle, s'évaporant à l'air. Les massifs d'arbres, de place en place, saillissaient comme des rochers noirs; et les hautes lignes des peupliers, qui dépassaient la brume, figuraient des grèves que le vent remuait.\n"] Second: ["À côté, sur la pelouse, entre les sapins, une lumière brune circulait dans l'atmosphère tiède. La terre, roussâtre comme de la poudre de tabac, amortissait le bruit des pas; et, du bout de leurs fers, en marchant, les chevaux poussaient devant eux des pommes de pin tombées.\n"] Generated: ["-- C'est pas les parles de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la main de la"] BLEU score: 0 -- END OF EPOCH 16. Average loss on training set: 1.4053188562393188. Average accuracy on validation set:0.5523242050258851 Average loss on validation set: 1.4333815574645996. 1048.2802402973175 s elapsed (i.e. 61.66354354690103 s/epoch) First: ["Rodolphe avait un grand manteau; il l'en enveloppait tout entière, et, passant le bras autour de sa taille, il l'entraînait sans parler jusqu'au fond du jardin.\n"] Second: ["C'était sous la tonnelle, sur ce même banc de bâtons pourris où autrefois Léon la regardait si amoureusement, durant les soirs d'été. Elle ne pensait guère à lui maintenant.\n"] Generated: ["-- Ah! que l'on avait pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son pas de la porte de la porte de son p"] BLEU score: 0 -- END OF EPOCH 17. Average loss on training set: 1.3877355541501726. Average accuracy on validation set:0.5605033176468002 Average loss on validation set: 1.4177544355392455. 1109.9936544895172 s elapsed (i.e. 61.66631413830651 s/epoch) First: ["-- Vous n'avez pas changé, vous êtes toujours charmante!\n"] Second: ['-- Oh! reprit-elle amèrement, ce sont de tristes charmes, mon ami, puisque vous les avez dédaignés.\n'] Generated: ['-- Ah! tu mais le considérait de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de la contre les considérations de '] BLEU score: 0 -- END OF EPOCH 18. Average loss on training set: 1.3675925532976787. Average accuracy on validation set:0.5649151487669954 Average loss on validation set: 1.3944770097732544. 1174.932047367096 s elapsed (i.e. 61.83852880879452 s/epoch) First: ["Comme elle se plaignait de Tostes continuellement, Charles imagina que la cause de sa maladie était sans doute dans quelque influence locale, et, s'arrêtant à cette idée, il songea sérieusement à aller s'établir ailleurs.\n"] Second: ["Dès lors, elle but du vinaigre pour se faire maigrir, contracta une petite toux sèche et perdit complètement l'appétit.\n"] Generated: ['-- Ah! tout en se rentrait de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la '] BLEU score: 0 -- END OF EPOCH 19. Average loss on training set: 1.350610179560525. Average accuracy on validation set:0.5716582679067078 Average loss on validation set: 1.3800658464431763. 1236.955097436905 s elapsed (i.e. 61.84775487184525 s/epoch) First: ["Et tour à tour examinant la feuille de papier, puis la vieille femme, il répétait d'un ton paternel:\n"] Second: ['-- Approchez, approchez!\n'] Generated: ['-- Et elle se retira de sa contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la contre les partiers de la convenaient de la co'] BLEU score: 0 -- END OF EPOCH 0. Average loss on training set: 1.5461689640836018. Average accuracy on validation set:0.567796352016477 Average loss on validation set: 1.4134081337187026. 77.87640953063965 s elapsed (i.e. 77.87640953063965 s/epoch) First: ["--Quand je disais que cela s'arrangerait! dit l'évêque.\n"] Second: ['Puis il ajouta en souriant:\n'] Generated: ["---Je ne se travais de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre de l'autre chambre"] BLEU score: 0 -- END OF EPOCH 1. Average loss on training set: 1.4713222712278367. Average accuracy on validation set:0.5795919352087341 Average loss on validation set: 1.3622772031360202. 152.8916437625885 s elapsed (i.e. 76.44582188129425 s/epoch) First: ['--Que faites-vous donc là?\n'] Second: ['M. Madeleine était à cette place depuis une heure. Il attendait que Fantine se réveillât. Il lui prit la main, lui tâta le pouls, et répondit:\n'] Generated: ['--Ce que le conseignait de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la première de la pre'] BLEU score: 0 -- END OF EPOCH 2. Average loss on training set: 1.436351758677785. Average accuracy on validation set:0.5908015837140649 Average loss on validation set: 1.3226393063863118. 228.55773973464966 s elapsed (i.e. 76.18591324488322 s/epoch) First: ['Puis elle éclata de rire et lui cracha au visage.\n'] Second: ["M. Madeleine s'essuya le visage, et dit:\n"] Generated: ['La chambre et la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de la contentionnel de'] BLEU score: 0 -- END OF EPOCH 3. Average loss on training set: 1.3964581102132798. Average accuracy on validation set:0.5966086144572683 Average loss on validation set: 1.2962464094161987. 302.72475028038025 s elapsed (i.e. 75.68118757009506 s/epoch) First: ["--Combien m'en donneriez-vous? dit-elle.\n"] Second: ['--Dix francs.\n'] Generated: ['--Monsieur le paysant de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte'] BLEU score: 0 -- END OF EPOCH 4. Average loss on training set: 1.3545308374777072. Average accuracy on validation set:0.5999358413535427 Average loss on validation set: 1.2817520433002048. 375.3078489303589 s elapsed (i.e. 75.06156978607177 s/epoch) First: ['--Pourquoi?\n'] Second: ['--Les chevaux prennent toute la place.\n'] Generated: ["--Monsieur le pays de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre de l'autre"] BLEU score: 0 -- END OF EPOCH 5. Average loss on training set: 1.335189661383629. Average accuracy on validation set:0.6087665625133264 Average loss on validation set: 1.2557220326529608. 453.55942034721375 s elapsed (i.e. 75.59323672453563 s/epoch) First: ['--Monsieur le maire a-t-il réfléchi que nous sommes en hiver?...\n'] Second: ['M. Madeleine ne répondit pas. Le Flamand reprit:\n'] Generated: ['--Ce qui ne sait pas de la porte de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de la chambre de l'] BLEU score: 0 -- END OF EPOCH 6. Average loss on training set: 1.302954845312165. Average accuracy on validation set:0.6113184183950691 Average loss on validation set: 1.2436743842230902. 523.9266965389252 s elapsed (i.e. 74.84667093413216 s/epoch) First: ['Chapitre IX\n'] Second: ['Nouveaux griefs\n'] Generated: ['--Monsieur le conscience de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la po'] BLEU score: 0 -- END OF EPOCH 7. Average loss on training set: 1.3047791421413422. Average accuracy on validation set:0.6133444425824792 Average loss on validation set: 1.2340128421783447. 596.2997436523438 s elapsed (i.e. 74.53746795654297 s/epoch) First: ['Chapitre I\n'] Second: ["Le soir d'un jour de marche\n"] Generated: ["Ce sont de l'autre chose de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolution de la révolu"] BLEU score: 0 -- END OF EPOCH 8. Average loss on training set: 1.2825687513118837. Average accuracy on validation set:0.6158034930211727 Average loss on validation set: 1.2235861751768324. 672.4499266147614 s elapsed (i.e. 74.71665851275127 s/epoch) First: ["La belle hôtellerie s'était fermée pour lui; il cherchait quelque cabaret bien humble, quelque bouge bien pauvre.\n"] Second: ["Précisément une lumière s'allumait au bout de la rue; une branche de pin, pendue à une potence en fer, se dessinait sur le ciel blanc du crépuscule. Il y alla.\n"] Generated: ['--Mais je ne suis pas monsieur le maire, mais il se rendre pas en place de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la por'] BLEU score: 0 -- END OF EPOCH 9. Average loss on training set: 1.2826450735330581. Average accuracy on validation set:0.6168559548786514 Average loss on validation set: 1.2156682676739163. 748.698477268219 s elapsed (i.e. 74.8698477268219 s/epoch) First: ['Il dit:\n'] Second: ['--Non, madame.\n'] Generated: ["--C'est une fois que le présence de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte "] BLEU score: 0 -- END OF EPOCH 10. Average loss on training set: 1.2510722368955611. Average accuracy on validation set:0.6222141264177996 Average loss on validation set: 1.2053344117270575. 818.0546853542328 s elapsed (i.e. 74.36860775947571 s/epoch) First: ["C'était Fantine. Difficile à reconnaître. Pourtant, à l'examiner attentivement, elle avait toujours sa beauté. Un pli triste, qui ressemblait à un commencement d'ironie, ridait sa joue droite. Quant à sa toilette, cette aérienne toilette de mousseline et de rubans qui semblait faite avec de la gaîté, de la folie et de la musique, pleine de grelots et parfumée de lilas, elle s'était évanouie comme ces beaux givres éclatants qu'on prend pour des diamants au soleil; ils fondent et laissent la branche toute noire.\n"] Second: ["Dix mois s'étaient écoulés depuis «la bonne farce».\n"] Generated: ['Le président de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la po'] BLEU score: 0 -- END OF EPOCH 11. Average loss on training set: 1.2538601770633604. Average accuracy on validation set:0.6218786013752868 Average loss on validation set: 1.2053189145194159. 899.8675932884216 s elapsed (i.e. 74.98896610736847 s/epoch) First: ['--Monsieur a son passeport?\n'] Second: ['--Oui.\n'] Generated: ["--C'est un peu de ce qui est un peu de plus de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte d"] BLEU score: 0 -- END OF EPOCH 12. Average loss on training set: 1.2513113468885422. Average accuracy on validation set:0.6216873414019916 Average loss on validation set: 1.1994566652509902. 979.4764814376831 s elapsed (i.e. 75.34434472597562 s/epoch) First: ["Maintenant, si l'on admet un moment avec nous que dans tout homme il y a une des espèces animales de la création, il nous sera facile de dire ce que c'était que l'officier de paix Javert.\n"] Second: ['Les paysans asturiens sont convaincus que dans toute portée de louve il y a un chien, lequel est tué par la mère, sans quoi en grandissant il dévorerait les autres petits.\n'] Generated: ["--Monsieur le maire, c'est un coup de ce que cela ne se passait pas de la porte de la porte de la courrise, et l'ancien en ce que cela ne se passait pas de la porte de la porte de la courrise, et l'ancien en ce que cela ne se passait pas de la porte de la porte de la courrise, et l'ancien en ce que cela ne se passait pas de la porte de la porte de la courrise, et l'ancien en ce que cela ne se passait pas de la porte de la porte de la courrise, et l'ancien en ce que cela ne se passait pas de la porte de la po"] BLEU score: 0 -- END OF EPOCH 13. Average loss on training set: 1.2179998537389243. Average accuracy on validation set:0.6221933608473117 Average loss on validation set: 1.1980983813603718. 1055.3165719509125 s elapsed (i.e. 75.37975513935089 s/epoch) First: ['--Maître Scaufflaire, demanda-t-il, avez-vous un bon cheval?\n'] Second: ["--Monsieur le maire, dit le Flamand, tous mes chevaux sont bons. Qu'entendez-vous par un bon cheval?\n"] Generated: ["--Monsieur le maire est là de ce qu'il faisait en cette chambre de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la"] BLEU score: 0 -- END OF EPOCH 14. Average loss on training set: 1.218496498465538. Average accuracy on validation set:0.6256974022893247 Average loss on validation set: 1.1862164338429768. 1133.2067244052887 s elapsed (i.e. 75.54711496035257 s/epoch) First: ["Çà et là, il s'arrêtait, parlait aux petits garçons et aux petites filles et souriait aux mères. Il visitait les pauvres tant qu'il avait de l'argent; quand il n'en avait plus, il visitait les riches.\n"] Second: ["Comme il faisait durer ses soutanes beaucoup de temps, et qu'il ne voulait pas qu'on s'en aperçût, il ne sortait jamais dans la ville autrement qu'avec sa douillette violette. Cela le gênait un peu en été.\n"] Generated: ['--Monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire'] BLEU score: 0 -- END OF EPOCH 15. Average loss on training set: 1.2005999844248703. Average accuracy on validation set:0.6291401307600564 Average loss on validation set: 1.1825962861378987. 1209.4948287010193 s elapsed (i.e. 75.5934267938137 s/epoch) First: ["--Les enfants, s'écria la mère Thénardier, comme ça se connaît tout de suite! les voilà qu'on jurerait trois soeurs!\n"] Second: ["Ce mot fut l'étincelle qu'attendait probablement l'autre mère. Elle saisit la main de la Thénardier, la regarda fixement, et lui dit:\n"] Generated: ['--Monsieur le maire ne se reculevait pas que la maison sur la chambre et le conventionnel de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et le pays de la porte de la chambre et'] BLEU score: 0 -- END OF EPOCH 16. Average loss on training set: 1.1967062473297119. Average accuracy on validation set:0.6310720435926535 Average loss on validation set: 1.1730470524893866. 1279.2689816951752 s elapsed (i.e. 75.25111657030442 s/epoch) First: ["Il lui semblait qu'on pouvait le voir.\n"] Second: ['Qui, on?\n'] Generated: ['--Monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire, monsieur le maire'] BLEU score: 0 -- END OF EPOCH 17. Average loss on training set: 1.1944629564517881. Average accuracy on validation set:0.6319962823521997 Average loss on validation set: 1.1729663875367906. 1358.594796180725 s elapsed (i.e. 75.47748867670695 s/epoch) First: ["C'était le petit garçon de la vieille.\n"] Second: ["--Monsieur, dit-il, c'est moi qui vous ai procuré la carriole.\n"] Generated: ["--Monsieur le maire de monseigneur Bienvenu était au moins de la première fois qu'il avait été comme un peu de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de plus de pl"] BLEU score: 0 -- END OF EPOCH 18. Average loss on training set: 1.190365406870842. Average accuracy on validation set:0.6302819340781183 Average loss on validation set: 1.1713791688283284. 1440.2176041603088 s elapsed (i.e. 75.8009265347531 s/epoch) First: ["M. Myriel devait subir le sort de tout nouveau venu dans une petite ville où il y a beaucoup de bouches qui parlent et fort peu de têtes qui pensent. Il devait le subir, quoiqu'il fût évêque et parce qu'il était évêque. Mais, après tout, les propos auxquels on mêlait son nom n'étaient peut-être que des propos; du bruit, des mots, des paroles; moins que des paroles, des _palabres_, comme dit l'énergique langue du midi.\n"] Second: ["Quoi qu'il en fût, après neuf ans d'épiscopat et de résidence à Digne, tous ces racontages, sujets de conversation qui occupent dans le premier moment les petites villes et les petites gens, étaient tombés dans un oubli profond. Personne n'eût osé en parler, personne n'eût même osé s'en souvenir.\n"] Generated: ['--Je vous donne un considérer le conventionnel de la rentre de la rente de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la porte de la por'] BLEU score: 0 -- END OF EPOCH 19. Average loss on training set: 1.170850230426323. Average accuracy on validation set:0.6328182605552303 Average loss on validation set: 1.1716512044270833. 1515.953320980072 s elapsed (i.e. 75.7976660490036 s/epoch) First: ["M. Madeleine se hâta d'écrire aux Thénardier. Fantine leur devait cent vingt francs. Il leur envoya trois cents francs en leur disant de se payer sur cette somme, et d'amener tout de suite l'enfant à Montreuil-sur-mer où sa mère malade la réclamait.\n"] Second: ['Ceci éblouit le Thénardier.\n'] Generated: ["--Monsieur le maire, dit l'évêque, dit l'évêque, l'autre au moins de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main de la porte de la main"] BLEU score: 0
In [ ]:
#The vectorized beam search do not support batch generation,the pro is ,since it dose not use loop,so the generation is much quicker
test_generator = BatchGenerator(paragraphs = paragraphs, char_vocabulary = char_vocabulary)
text = ["Charles Bovary sortit une bonne bouteille de vin et alla chercher des verres pour ses invités."]
print(text)
for i in range(10):
batch = test_generator.turn_into_batch(text)
text = model(batch.to(model.device),beam_size = 30, max_predicted_char=1024)[1]
print(text)
['Charles Bovary sortit une bonne bouteille de vin et alla chercher des verres pour ses invités.'] ["é le mourant de l'ét l'autre"] ["e l'évêque entra dans la chambre de loite de l'étranger avant d'autour de l'évêque"] ['utre'] ["e l'évêque era dans l'ambre de l'étroite de l'évêque en'étévêque entra des pro pays, et leétatroite de l'étroite de l'évêque entra dans l'ouverture de l'évêque entra dans l'ombre de l'étroite de l'étr son coeur de l'auberge.e l'étroite de la "] ["de l'évêque enroite de l'étroite de l'évêque entra porte de l'évêque enra dans la chambre de l'étroite de l'étroite de l'évêque et lui demanda la de l'ét l'ae l'étroite de l'autre"] ["e l'évêque entra dans l'ombre de l'étroite de l'étranger au moment oe l'étrotroite de l'évêque, "] ["ns l'ouverture de l'évêque et l de sa porte de l'étranger avanévêque entre ltroite dbre de l'évêque ene l'auberge de l'évêque entra dans l'ombre de l'évêque et "] ["e l'évêque evée,'ae main slite de l'évêque entra dans le place de l'étroite de l'étroite de l'évêque enombre de l'étroit droite de l'étroite de l'étroite de l'évêque enminée de l'tra dans la chambre de ltra dans la cheminée de l'évêque enmbre de l'étroite de l'évêque de l'évêque êque et lui dit: évêque entra dans l'ombre de l'étroit de l'étranger avant d'autorité de l'rtroit de l'autorité de l'étroite de l'évêque entra dans la chambre de l'étroite de l'évêque"] ['utre'] ["e l'évêque era dans l'ambre de l'étroite de l'évêque en'étévêque entra des pro pays, et leétatroite de l'étroite de l'évêque entra dans l'ouverture de l'évêque entra dans l'ombre de l'étroite de l'étr son coeur de l'auberge.e l'étroite de la "]