Progress: IKI Read

Continue work on implementing iki_read.

Cleanup: clarify IKI specification.

Any character, not just printing characters, is supported within the content of IKI.

Bugfix: read overflows the per character scanning

There is a logic mistake where the buffer is incremented too many times before the next loop.
This results in skipping some of the characters in the file and if those skipped characters are part of a vocabulary and content, then it will not be detected.

Cleanup: reserve IKI-0000 and update documentation

The standard IKI-0000 is now to be used to represent anything that follows the IKI standard without explicitly descrribing what its vocabulary is.
All other IKI standards (IKI-0001 and greater) are to be used to represent a specific set of vocabulary terms.

Update: dependencies changes, project level changes, and includes changes.

Review the current dependencies and fix them.
There are some cases where some dependencies are not necessary, such as f_utf.
There are some cases where some dependencies are missing (or newly added).

f_conversion split into f_conversion and fl_conversion.
Update dependencies accordingly.

For simplicity, include the core level_0 project headers, except in a small number of cases.

Add fss header comment in dependencies files.

Add comments in *_array.h headers for level_0 core projects.

Add missing header in f_string.

Replace _di_level_0_parameter_checking_ with _di_level_1_parameter_checking_ where incorrect.

The fl_fss identify functions should instead be in the fll_fss project.

Make sure the IKI projects are in the bootstrap example script.

Remove the fl_console_parameter_to_number_unsigned() and similar functions.
These are just wrappers to another call and is therefore a waste.
Instead, just call the fl_conversion_string_to_number_unsigned() and similar functions.

Bugfix: settings files are stored in 'data/settings/' not 'data/build/settings/'.

Bugfix: The setting is called 'build_sources_setting' and not 'build_sources_settings'.

Bugfix: completely ignore comments in dependencies file

Progress: IKI Read

Begin the process of adding the IKI Read program.

Cleanup: capitalize IKI

Update: todo notes added

Update: print formatting, closing file, and returning

The print formatting for status should be %llu in the event that the entire status (error bits, etc..) is printed.

There were some cases where the file is not being closed.

There were some cases where the program is missing the return statement.

Update: add f_macro_file_clear() and f_macro_file_reset()

Bugfix: conversion needs to properly handle '0x' and similar

Invalid Parameter happens when there is no following number after the x in '0x'.
This is because the start and stop range were not being checked after applying the offset.

Progress: Featureless Make.

Begin working on integrating IKI into Fake.
I took advantage of the current code to do some testing with IKI and left some of the testing code for now.

In addition to IKI, I am thinking that I need to add another project for exploding a string into separate arguments with support for escapable single and double quotes.

Bugfix: iki didn't handle all cases

I forgot to review the delimit cases and when I did I found the implementation a bit sloppy.
I also found some ways to improve the code.

The content slash total should start at 0 and not 1 because it increments it later on.

The fl_ik_read() needs to check the range.

Feature: add fl_iki project.

This provides fl_iki_read, a function for identifying all iki within a given range.
Whereas the f_iki_read function will only identify the first valid iki variable found within the given range.

Update: add missing dependencies, changes to iki

In a previous commit I seem to have forgotten to include the build settings changes.

Fix some minor mistakes in iki.
In particular, I forgot to increment the range->start after identifying where content would begin (which prevented it from working at all).

Add f_iki_variable to store the range for the entire variable.
This will allow for easy removal when substituting (which is one of the design intentions, so I need to cover this use case!).

Progress: Featureless Make and IKI.

Continue work progressing Featureless Make 'make' and the newly implemented 'Iki' standard.

Update: UTF-8 improvements

Move some FSS UTF-8 processing code into UTF-8 as it should be more generic.

Add more UTF-8 functions (or at least the stubs).
Begin adding emoji, which is all over the place.

Staring at so many codes, it will be easy to make a mistake.
After all of the UTF-8 functions are believed to be fully implemented an extensive review needs to happen.

Cleanup: fix comments

Progress: organize headers, simplify fss structures, initial IKI support

Move more headers into the secondary structures to simplify the main header, which will now more often be just for function definitions.

The FSS structures can use a more common base to better allow integration with separate projects that utilize the same basic design.
This is important for IKI project.
Casting to/from fss objects and contents to their respective ranges should now be possible.

Begin adding the IKI support, which is a new FSS standard focused on a simpler/smaller Wiki design.
The goal is not to handle presentation but instead to provide very simple context on certain text blocks based on some vocabulary.
A very common example would be sending a plain text e-mail with a URL in it, the URL could be encapsulated in an IKI vocabulary object to tell both the human and the computer that this is a URL.
For a URL, this is very useful in that no part of the URL need be escaped, except for the closing quote and its respective delimiter.

Example iki URL: url:"http://www.example.com/this does not exist/".
As opposed to http://www.example.com/this%20does%20not%20exist/.
The first case is easier for a human while still remaining simple enough for a machine.

The IKI syntax, at least in its most basic form, is not meant to be a full WIKI formatter.
While this may be accomplished with a sufficiently large enough vocabulary, this seems unnecessary at this time.

The IKI syntax standard itself is yet to be ironed out and ill be updated overtime until I am satisfied.

Bugfix: revert slash improvements in FSS object read

Oops.

When relocating this I completely forgot that an object starting with something other than a double quote or single quote can never be a quoted object.
Therefore only the first slash needs to be delimited.

I need to update the FSS documentation to avoid this oops again.
This will be tacked on to the todo list for when I do my extensive review of the FSS processing code.

Progress: featureless make

Continue current development, saving work to reduce any changes of accidental losses.

Cleanup: improve fss documentation

Progress: update FSS code, including zero-width updates

Update FSS to consider the recent zero-width improvements.

Making the changes reminded me on how I still need to go through and clean the FSS code up.
As noted in previous commits, the changes into supporting UTF really put the code into an unideal and not well tested state.
This needs extensive review and fixes.

To that end, I felt compelled to fix problems and perform cleanups that I observed.
At least to a small extent.

The basic and extended object reads are identical so move the code into a shared private function.

One behavioral change is to better support fail-through practice.
For FSS Extended, the contents are always terminated by a newline.
However, if there is an unterminated quote, then the entire process would previously fail.
This time, do no accept content for that line and continue on to next content.

Update: relocate utf.h code into utf-common.h and improve zero-width support

There is too much in utf.h.
Move the defines and other common things into utf-common.h.

There actually are zero-width ASCII characters (such as bell).
Fix this inaccuracy and handle all of the zero-width ASCII characters.

Newlines, tabs, and otherwise space that prints something, including vertical tabs however odd, are not to be considered zero-width.

Update: add additional f_fss functions and update documentation

Add line counting functions.

Remove unnecessary checks against negative values for unsigned numbers.
(They are theoretically necessary in that if the type was overwritten to a signed type, but for now just ignore that case.)

Finish adding or updating the *_together functions.
Review and update the documentation.

Feature: add F_recurse status code

The recurse status code is intended to be used for situations involving recursive operations.

Progress: featureless make

Continue development in featureless make, implementing support for "make" operation.

This expands the f_string project to support additional structures.
This expands the fll_fss project to utilize these additional structures.

I have reviewed and redesigned some of the fll_fss project functions.
The fll_fss project function redesign is incomplete and not fully tested as of this commit.
(I plan on reviewing and updating the *_together functions.)

The current fakefile is a stub/example for testing and will be updated to a correct default fakefile once the "make" operation is complete.
The plan is to have the fakefile provide an example for building th featureless make project using the fakefile.
This would mean that the featuereless make project can be built by the featureless make project using either the "build" or the "make" operation.

Update: package.sh clean should operate like build

The clean operation should respect the mode parameters in the same way build does.

Bugfix: invalid memory management in fll_fss_snatch_apart() and fll_fss_snatch_mash_apart().

Not sure what I was doing, but the logic is just plain wrong.

Cleanup: use the not status macro instead of the status macro with !

Feature: add fss_named and fss_set structures and re-organize the fss headers

Provide fss_named and fss_set structures (and their respective array structures).
These are useful when using FSS types nested within another set (not to be confused with fss_nest which is for a single type with recursion).

There are just too many things in fss.h.
Break it out into multiple headers that are auto-included.

Feature: add macro initializers for static string and string ranges

Creating defines with present lengths and them using these in static strings, sometimes with ranges, has become more common.
Provide the macros to make this simpler and ever be more usable for creating constant static strings and constant string ranges.

Update: ignore comment lines when processing package dependencies

Bugfix: incorrect invalid parameter check for file write for used to size comparison

The used may equal size, do not trigger an error.
Change un-reallocated dynamic strings to static strings.

Progess: begin working on featureless make 'make' operation

This adds my initial draft of the header.

Update: finish updating comment documentation and fixing any observed issues

This completes my maintenance pass that needed to be done following the significant changes introduced after developing the fake build process.

Update: only print depedencies list in verbose mode

Cleanup: remove stale fll_directory project

This project is no longer used and is empty.

Progress: UTF-8 file write should handle case where expanded character is larger than write max

When the 4-byte wide UTF-8 character is expanded into potentally 4 1-byte wide UTF-8 characters, the available bytes being expanded need to fit in the output buffer.

Update: Improve verbiage in package.sh and output current project being built in bootstrap.sh

The package.sh script should instead say "Packaging Project".

The bootstrap.sh script should output that it is building or cleaning a project and display the current project name and version if available.

Update: add support for ++quiet and ++verbose in the scripts

Progess: continue work in cleaning up UTF-8 and strings

Work relating to UTF-8 file related functions.

I also noticed that the *_delete_simple() and *_destroy_simple() macros are missing for the UTF-8 dynamic strings.

Progress: continue work in update UTF-8 functions and string functions

The UTF-8 functions have become out of date.
This is part of a series of commits to get it up to date and fix problems.

Fix problems with the string functions observed while performing this update.

Cleanup: Conditionally print color based on verbosity mode in certain messages in Fake.

Update: Move common fl_fss functions to f_fss where possible, also add private-fss.{c,h}.

Some of the fl_fss functions can be moved to f_fss, now that f_utf is considered an exception-case core library.

Some of the fl_fss functions are being used within itself.
Use private functions to do this.

Update: fl_serialized to f_serialize, renaming f_serialized to f_serialize

There is nothing forcing the current functions in fl_serialized from being in f_serialize.

Renamed f_serialized to f_serialize to be more consistent with the function names.
To that end, I have renamed the functions like f_unserialize* to f_serialize_un.
I have been unable to come up with a better name that is also reasonably short.

Update: move fl_socket to f_socket

There is nothing forcing the current functions in fl_socket from being in f_socket.

Progress: continue cleaning up comment documentation, fixing discovered problems

In particular, the fl_socket (which needs to be reviewed for being moved into f_socket) needed to be documented and had some issues to resolve.

Bugfix: individual bootstrap example does not handle errors properly

Double-Ampersand before a for loop does not work well in bash.
Instead, return result to detect error before attempting to operate for loop.

Progress: remove fl_file, more comment documentation cleanup and fixes

The fl_file project has been empty for some time, fully remove it.

Continue the work on updating the comment documentation.
Fix any observed problems.

Begin using the "Errors from .." style to simplify comment documentation maintainability.

Update the bootstrap-example.sh script, adding support for building the fake project as an example.

Cleanup: add .txt extension to documentation

This will make it convenient as well as consistent as the other documentation that also uses the .txt extension.

Update: allow multiple modes to be specified in the package.sh script

Update: documentation cleanups, fix observed problems, retun F_data_not without error bit

Organize the return codes.
Fix any probles in the commend documentation that I happened to notice.
This is not complete, there will be follow up commits to address more cleanups.

I noticed that there were some public directory functions incorrectly have 'private_' in their name.

The conversion functions should no longer consider no data an error.
Just report that there was nothing to do.

Update: documentation, also use fss-0002

Fix the documentation to clarify that the --work paramter is, in fact, more different than --prefix parameter.
Update the tree examples to show both the build directory tree and work directory tree.

Switch to using the fss-0002 format for all of the documentation files and specification files.

Update: main readme documentation.

This documentation is in an FSS format.
The other documentation files will likely be converted to the same FSS format in the near future.

Bugfix: build directory should be created if needed and not pre-required in all cases

Don't optionally required the build directory.
Always create it when needed, so do not require it.

Update: implement --process parameter

Looks like I forgot to implement this.
The --process parameter is a process name that is prepended to stage file names for the purpose of granting the caller additional flexibility.

Update: add Featureless Make documentation and specifications

This is a good starting point for the documentation.
I may or may not add more at a later time.

Cleanup: fix ordering of path_language

Cleanup: remove project_level setting

Remove this stale code.
This was mostly removed already in previous commits from the settings.
This was replaced by the path_headers setting.

Bugfix: mispelling in search_exclusive

Update: bootstrap dependency functionality, fix missing dependencies, also ensure level and monolithic

It seems I wrote a dependency generator to make my life easier and then I went and forgot about it.
Update this to work with the more recent changes to the build settings structure.

While I am at it, generate all of the dependencies and save the generated dependencies.

This exposed a typoe in the dependencies file, now fixed.

Might as well make sure the level and monolithic dependencies are generated as well.

Update: add documentation note about the bootstrap-example.sh script

Cleanup: rename generate.sh to bootstrap.sh

The generate.sh is a bootstrap for each individual project.
Officially calling it the bootstrap just makes sense.

Cleanup: rename bootstrap.sh to boostrap-example.sh

Cleanup: rename generate to bootstrap

The generate script is now officially a bootstrap script.

Update: add new documentation, improve existing documentation

Cleanup: rename work_directory to work

This makes the parameter consistent with the generate.sh script.

Update: rename readme to readme.bootstrap

Cleanup: ordering of function names and add spaces before function instantiation open brace

Update: support copying documents, licenses, and specifications per project and do some cleanups

Individual projects, specifically programs (level_3), may have custom documentation, licenses, and specifications.
(With custom licenses being least likely because this project in its entirety is under lgpl.)

Add support to all projects just for good practice.

Cleanup ordering of function names and add spaces before function instantiation open brace.

Update: Featureless Make needs to handle the -d/--define parameter

Rename the parameter from defines to define, because it acts on only a single parameter at a time.
The -d must be specified multiple times to get multiple defines.

When -d/--define is specified, the defines provided by the settings file get ignored.

Continue to pass the defines from the console parameters to the process scripts.

Update: add missing handling of defines_all, defines_shared, and defines_static

Bugfix: shared library link names are incorrect

The standard link names are:
  libfake.so -> libfake.so.0
  libfake.so.0 -> libfake.so.0.5.0

Instead, I had:
  libfake.so.0 -> libfake.so.0.5
  libfake.so.0.5 -> libfake.so.0.5.0

While I am at it, make these links reflect the version_target setting.
If target is major, then standard link names above are followed.
If target is minor, then:
  libfake.so -> libfake.so.0.5
  libfake.so.0.5 -> libfake.so.0.5.0
If target is micro, then:
  libfake.so -> libfake.so.0.5.0

Cleanup: add build_language setting

This defaults to C, so there is no issue if it is not defined.
Still, it should be provided as the default in the FLL project.

Cleanup: remove unnecessary S from function names

The building only builds a single program and a single library.
The building of objects builds multiple objects, so the S remains for that function.

Feature: add version_target setting to Featureless Make and FLL generate script

I noticed that I had a different linker version string between Featureless Make and the FLL generate script.
After reviewing and fixing, I decided to make this a customizable option now called version_target.
The default, traditional behavior, is to use only the major version.

A major version target would link like "-Wl,-soname,libfake.so.0".
A minor version target would link like "-Wl,-soname,libfake.so.0.5".
A micro version target would link like "-Wl,-soname,libfake.so.0.5.0".

Update: change settings structure to follow the Featureless Make structure

The existing design is based on the bootstrap scripts.
The bootstrap script is now updated to the new design so these scripts can now be updated to the new design.

Update: readme

Update: redesign to follow the Featureless Make design

Use the setting names specified by Featureless Make, which are a bit more generalized than the current generate.sh design.

This does not fully follow all of the Featureless Make functions.
Only what is necessary (or already implemented) to bootstrap the entire FLL project is done.

Cleanup: remove redundant adding of library_flags setting

This should have been removed when I moved the code into fake_build_arguments_standard_add().

Update: implement the bootstrap.sh

Bugfix: incorrect is_library boolean during build process

These are set incorrectly, resulting in using program_flags for library and library_flags for program.

Bugfix: don't produce extra errors on certain build errors

Cleanup: switch to simpler color context strategy

Use a simpler color context strategy.
This helps avoid the need to alter the recursive function output.

Cleanup: typo in directory

Bugfix: do not consider a non-existent build directory an error during clean operation

The clean only cares about deleting all of the files in the build directory.
If that directory does not exist, then there is no issue.
When in verbose mode, print a message about the directory not existing.

Bugfix: filename without extension not terminated and compiled objects need subdirectories

When generating the filename without the file extension, terminate the string.

When library sources are specified using subdirectory paths, object files should have the same subdirectory structure.
This only applies to object files because they are compiled using the same naming structure as the sources.
The rest of the compiled code is compiled into a new structure, which is generally a single library or program.

Bugfix: invalid memory access and only process if not empty

If the path_headers is not defined, an invalid memory read was triggered.
This happens because I was only assigning path_headers variable when path_heades setting was defined but I was still attempting to copy that path regardless.

Make sure to not bother attempting any copy or compile build operations if that setting has not properties (such as build_sources_program being empty).

Cleanup: remove no longer used scripts

Progress: featureless make

Finish writing static compiling.

Simplify some of the code, moving repeated code into functions.

Get rid of process build path, it is no longer to be used.

Cleanup: remove unnecessary -lfake in flags_program

The recent fixes made this unnecessary.

Progress: featureless make

This gets the shared library and shared program compiling working.
The fake program can compile the fake binary and that fake binary can do the same.
This is great progress.

Bugfix: do not embed libraries into program

The generate.sh script design seems to be adding the library sources into the program.
This effectively makes the linked library.
This is a bad compiling and linking design and a waste of space.

Instead, add a link option to the project name so that the library gets linked to by the program.

Progress: Featureless Make

Remove no-longer used or planned to be used defines.

Switch to fl_string_dynamic_terminate_after().

Add color context to certain verbose messages.
(The recursive remove needs to replaced due to nftw() being too limited.)

Complete the compile shared library function.

Bugfix: correctly calculate terminating null for fl_string_dynamic_terminate_after()

Bugfix: memory leak in f_execute_*_environment() functions, handle no-slash case, fix memcpy()

I failed to clear memory on some return on error cases.

Using "sizeof(f_string_length) *" in memcpy is nonsense here, its a char, which is size 1!

When there is no '/' in the path, strrchr() return 0.
In this situation, just consider the entire path the file name.