字句解析とは?

字句解析とは、コンパイラの中で最初に処理する部分である。そのため、 `生'のプログラム(ユーザが書いたプログラム、ソースプログラムという) を入力とする。例えば、C言語のソースプログラム、

main()
{
	printf( "hello world!\n" );
}

に対して、main、(、)、{、printf、(、"hello world!\n"、)、;、}というように、プログラムをその種類毎に、`バラバラ'にする処理を行なう。その一つ一つをトークン(token)という。通常は、バラバラにして次の処理(構文解析など)にそれらの情報を渡す必要があるので、トークン毎に番号づけを行なう。