>>data:6053
▼ はこねさん
> 以下の文字列のファイルを開こうとすると UTF-7 と
> 判定されて文字化け（？）してしまいます。
> ・・・（中略）・・・
> d+hG5ugj9r46NRQqEZMyppcHgFCNCjOO9VCdsCMs6tjoJ6mkE66befz58aqNKRHQ
> 
> ちなみに、1.5.10.0 では正常に開けました。

暫定的にですけれど、自分なりに見つかった問題を報告します。

charcode.cpp の UTF-7 判別関数に怪しげな部分が…

修正範囲）
charcode.cpp リビジョン 1081 の 342 行から 352 行のところ：

342:		nret = CheckUtf7SetBPart( base_ptr, end_ptr-base_ptr, ptr );
343:		// ここで， [特有バイト数] := [実際に調査されたデータ長] - [不正バイト数]
344:		num_of_base64_encoded_bytes += (ptr-base_ptr) - nret;
345:
346:		// ptr == end_ptr が成り立つ場合, CheckUtf7SetBPart() 関数の特性により，
347:		// 単純に不正バイト数 := ptr-base_ptr（読み込んだバイト数）となる恐れがあるので，
348:		// 条件 ptr == end_ptr が成り立つときはループ脱出．
349:		if( end_ptr <= ptr ){
350:			break;
351:		}
352:		nlostbytes += nret;

修正方法）
上から順に
		nret = CheckUtf7SetBPart( base_ptr, end_ptr-base_ptr, ptr );
消す		// ここで， [特有バイト数] := [実際に調査されたデータ長] - [不正バイト数]
消す		num_of_base64_encoded_bytes += (ptr-base_ptr) - nret;
消す
消す		// ptr == end_ptr が成り立つ場合, CheckUtf7SetBPart() 関数の特性により，
消す		// 単純に不正バイト数 := ptr-base_ptr（読み込んだバイト数）となる恐れがあるので，
消す		// 条件 ptr == end_ptr が成り立つときはループ脱出．
消す		if( end_ptr <= ptr ){
消す			break;
消す		}
書足す		// ptr == end_ptr が成り立つ場合, CheckUtf7SetBPart() 関数の特性により，
書足す		// 単純に不正バイト数 := ptr-base_ptr（読み込んだバイト数）となる恐れがあるので，
書足す		// 条件 ptr == end_ptr が成り立つときはループ脱出．
書足す		if( end_ptr <= ptr ){
書足す			break;
書足す		}
書足す		// ここで， [特有バイト数] := [実際に調査されたデータ長] - [不正バイト数]
書足す		num_of_base64_encoded_bytes += (ptr-base_ptr) - nret;
		nlostbytes += nret;

ちゃんとしたパッチが出せなくてすみません。

# 忘れまいと
# 自分でコメントを入れたそばから・・・ あぁあぁ orz

▼ げんたさん
d+hG5ugj9r46NRQqEZMyppcHgFCNCjOO9VCdsCMs6tjoJ6mkE66befz58aqNKRHQ
> >暫定的にですけれど、自分なりに見つかった問題を報告します。
> > 
> >charcode.cpp の UTF-7 判別関数に怪しげな部分が…
> 早速修正して試してみましたが，同じようにUTF-7と認識されてしまいました．

リリースお疲れ様です。
このパッチ、少なくとも上記の文字列では大丈夫でした。

▼ げんたさん
> ・・・
> >ptr == end_ptr が成り立つ場合, 
> >CheckUtf7SetBPart() 関数の特性により，
> >単純に不正バイト数 := ptr-base_ptr（読み込んだバイト数）
> >となる恐れがある
> と書かれていますが，この『特性』って一体なんでしょうか．

以下の部分を見てみて下さい。

ViewVC の
sakura/trunk/sakura_core/charcode.cpp (リビジョン 1047)
関数 CheckUtf7SetBPart() 内:
267: 		base_ptr = const_cast<uchar_t*>(pS);
268: 		end_ptr = base_ptr + nLen;
269: 		for( ptr = base_ptr; ptr < end_ptr; ++ptr ){
270: 			if( !IsBase64Char( *ptr ) ){
271: 				// UTF-7 Set D 部分の開始を認識.
272: 				break;
273: 			}
274: 		}

これは UTF-7 セットD文字列の開始部分を判断するループです。
判定している部分が２つあります。

１つ目は 270行の条件  !IsBase64Char( *ptr )
２つ目は 269行の条件  ptr < end_ptr

その言う、この関数の特性っていうのは、例えば、
２つ目の条件でセットＤ文字列だと判断されて、
その後の例の検証ステップに合格するとしたら、
仮に、読み込んだ BASE64 文字列が途中で切れていて、
最後まできちんと調査できないときも、
それにかまわず、不正バイトは見つからなかったと
結果を返してしまうことを表しています。

# この件の本質的な解決にはなってないという落ちです ^^;
# 
# 検証ステップで UTF-7 の BASE64 部分をデコードして得られた
# UTF-16 Be(だったっけ？)の内容のことも考慮すると、
# セットDに含まれる文字がデコード結果の
# UTF-16 Be 文字列に含まれていれば、
# 不正な UTF-7 文字列とすることができます。。。よね？
# けれど、それだけでは普通に作業量が割り増しになるので、
# 調査対象文字列に UTF-7 では使われない値が見つかったら
# UTF-7 の可能性に見切りをつけるようにすれば安くつくかなと、
# 思案中。。。。思案中。
# どうも Unicode の合成文字からは
# 逃げられそうにありません T_T