Python/Справочник по языку Python 3.1: различия между версиями

Содержимое удалено Содержимое добавлено
Строка 136:
= Лексический анализ =
 
Программа на Python читается парсером. Входным потоком для парсера является поток токенов, генерируемый лексическим анализатором. В данной главе описывается, как лексический анализатор разделяет файл на токены.
<!--
 
 
Python считывает текст программы как символы в формате Unicode; кодировка символов может быть задана декларацией кодировки, по умолчанию она считается UTF-8, более подробно см. PEP 3120. Если файл с исходным кодом не может быть декодирован, генерируется ошибка синтаксиса.
 
<!--
2. Lexical analysis¶
 
A Python program is read by a parser. Input to the parser is a stream of tokens, generated by the lexical analyzer. This chapter describes how the lexical analyzer breaks a file into tokens.
 
Python reads program text as Unicode code points; the encoding of a source file can be given by an encoding declaration and defaults to UTF-8, see PEP 3120 for details. If the source file cannot be decoded, a SyntaxError is raised.
2.1. Line structure¶