投稿者「wt」のアーカイブ

4D: TEXT型のフィールドにインデックスを張るときの注意

TEXT型のフィールドにインデックスを張るときの注意

フィールドに保存した文字列を検索しても該当しない、という現象にはまりました。（はまりレベル３）

テーブルHBにテキスト型のフィールドを追加しました。そのフィールドにHBのすべてのレコードについて、メソッドで求めた文字列を保存しました。その保存した文字列で検索しても該当しない、のです。

１対Ｎ構造のテーブルがあって（テーブルHBとテーブルKJ）、Ｎ側（テーブルKJ)のラインナップが同じであるテーブルHBのレコードを探す、という機能を実装していたときのことです。ロジック的には、テーブル HBの各レコードについてテーブル KJをクエリして判定すればいいのですが、テーブルHBにはレコードが１万件以上あって、遅くてとても実用になりません。テーブルKJをキャッシュして配列に持たせても同様に遅い、という状況でした。

処理の高速化を図るため、テーブルHBに「HB_KJLINE」というフィールドを用意して、KJ_IDをコンマ区切りの文字列で連結して保存します。こうしておくと上記のクエリはテーブルHBだけをクエリすればよいことになります。検索時に遅いので保存時に一つ余計なフィールドを用意して検索のための値を保存しておく、というデータベース高速化の常套手段です。

高速化のためのコーディングですから、追加したHB_KJLINEにはインデックスを作成しました。HB_KJLINEの文字列は255文字を超えるでしょうからテキスト型です。そして実行、値はHB_KJLINEに入っていますが、あるはずの文字列で検索しても該当なし、です。

カレントテーブル表示（コマンド＋Uキー）でクエリ（コマンド＋Y）して、そのフィールドに入っている文字列で検索してみても、該当しません。一つレコードを保存してみると、保存したレコードだけ正常に該当します。

（4D Japanのサポートに電話して解決しました。）

原因はインデックスにありました。テキスト型のフィールドにインデックスを作成した場合、最初の1,024文字までしか結果が保証されない、という4Dの仕様です。HBには380個以上のKJを持つものがあり、この場合KJ_IDがコンマを入れて一つ４〜５文字とするとKJLINEの文字数は1,024文字を超えます。インデックスのチェックを外したら検索できるようになりました。

教訓１：

テキスト型のフィールドにはインデックスを作成しない。高速化を図る場合は別の方法を考えること。

ここで次の教訓も覚えておきましょう。

教訓2：

4Dでは、レコード数が32000件以上の場合、FInd in Arrayの該当レコード番号が保証されなくなる。（はまりレベル５）

 

Dezarie / Midnite

@ Santa Cruz

—–
バージン諸島のSt Croix出身、バンドは同じくバージン諸島出身のMidnite。ベースのRon BenjaminはRoots radicsのFlabba holtに影響を受けたとされている。ギターはBingy Bunnyというよりはchinaっぽくて、ドラムはサンタ＋ホースマウス＋カールトン・バレットのようで、もう最高です。

個人的にはこれが好き

01 – love in your meditation – 00:00 02 – download de criminal – 04:43 03 – worthy was she – 07:31 04 – not who we are to be – 11:36 05 – african heart lionheart – 16:23 06 – return to sender – 21:23 07 – stronger – 24:32 08 – keep praising jah – 29:10 09 – how great thou art – 32:38 10 – constructing destruction – 37:13 11 – things wont be the same – 41:09 12 – living ones – 45:07
CDを買おうとしたら在庫切れ

CALL WORKERの使用例

何個のスレッド数が適正かを判断するために、スレッド数は可変、外からわたすようにしておきます。

最初のメソッドです。ここからワーカーコマンドで別スレッドで実行するメソッドを呼び出します。スレッド数と担当番号を渡します。

//CW_RIM_pick_MD_Init
 //20171228 yabe

C_LONGINT($1;$numOfThread)
$numOfThread:=$1
C_LONGINT($winRef;$i;$myNum)
$winRef:=Current form window //途中経過表示用のフォーム

For ($i;1;$numOfThread)
 $cw_name:="cw_"+String($i)
 $myNum:=$i-1
 CALL WORKER($cw_name;"CW_MD_Add";$cw_name;$winRef;$numOfThread;$myNum)
End for 

呼び出された側では、OPテーブルの全レコードについて、担当番号のレコードだけ処理します。全レコード数をスレッド数で割った余りが自分の担当番号と一致した場合にだけ処理する、というロジックにしました。テーブルとフィールドはコンポーネント化を考慮してポインタで参照しています。第４引数のフォームに、CALL FORMを呼び出して進捗状況を表示します。

最後にすべての処理が終わったところで自分自身をKILL WORKERしています。このため親メソッドからワーカー名（第１引数）をもらっています。

//CW_MD_Add
//20171228 wat
//コンポーネントメソッド、見出しのリンクを更新

C_TEXT($1;$cw_name)
$cw_name:=$1
C_LONGINT($2;$winRef)
$winRef:=$2
C_LONGINT($3;$numOfThread)
$numOfThread:=$3
C_LONGINT($4;$myNum)
$myNum:=$4

MD_DefInit 
SN_DefInit 
HB_DefInit 
HB_cache_make 

C_POINTER($OPptr)
C_POINTER($OP_HTMLptr)
C_POINTER($OP_ORG_FNAMEptr)
C_LONGINT($i;$numOfRecs)
C_LONGINT($hb_id)
C_BOOLEAN($done)
C_TEXT($html)

//見出しテーブルをクリアして、シリアル番号をリセット
JCL_tbl_DelAll (vMDptr)
JCL_tbl_ResetSN ("MD_ID";"MIDASI")

//オーピーの全レコードについて見出しを抽出
$OPptr:=JCL_tbl_GetPtr_byName ("V_ORG_PAGE")
$OP_HTMLptr:=JCL_tbl_GetFldPtr ($OPptr;"OP_HTML")
$OP_ORG_FNAMEptr:=JCL_tbl_GetFldPtr ($OPptr;"OP_ORG_FNAME")

READ ONLY($OPptr->)
ALL RECORDS($OPptr->)
FIRST RECORD($OPptr->)

READ WRITE(vMDptr->)
$numOfRecs:=Records in selection($OPptr->)
$i:=1
While (($i<=$numOfRecs) & ($done=False))
　CALL FORM($winRef;"CW_RIM_pick_MD_Pgs";$myNum;$i;$numOfRecs;$start;$numOfThread)

If (($i%$numOfThread)=$myNum)
// OPのレコードに対して実行
GOTO SELECTED RECORD($OPptr->;$i)
$html:=$OP_HTMLptr->
hb_id:=HB_cache_find($OP_ORG_FNAMEptr->)

   // 見出しテーブルにレコードを追加
MD_Add ($html;$hb_id)
End if 

// ユーザによるキャンセルがあれば$doneをfalseにセットする
$i:=$i+1

End while 
UNLOAD RECORD(vMDptr->)
READ ONLY(vMDptr->)

KILL WORKER($cw_name)

以下は、CALL FORMで現在の進捗を表示するメソッドです。ホストプロジェクトで画面に表示されているフォームの進捗バーと文字列に、処理数を渡しています。

//CW_RIM_pick_MD_Pgs
//20171228 yabe
C_LONGINT($1;$myNum)
$myNum:=$1+1
C_LONGINT($2;$count)
$count:=$2
C_LONGINT($3;$all)
$all:=$3
C_LONGINT($4;$start)
$start:=$4
C_LONGINT($5;$numOfThread)
$numOfThread:=$5
C_POINTER($ptr)

$ptr:=OBJECT Get pointer(Object named;"vC01_lstCW_Count")
$ptr->{$myNum}:=$count

C_LONGINT($sum)
$sum:=Sum($ptr->)
$ptr:=OBJECT Get pointer(Object named;"vC01_Thermo")
$ptr->:=$sum/$numOfThread/$all*100

C_TEXT($msg)
$msg:="No."+String($myNum)+"  "
$msg:=$msg+String($count)+" / "+String($all)
$msg:=$msg+"  ("+String((Milliseconds-$start)/1000)+"sec)"
$ptr:=OBJECT Get pointer(Object named;"vC01_lstCW_CountStr")
$ptr->{$myNum}:=$msg

【注意】

この例では、ユーザによる途中キャンセルが実装されていません。