sysusers: add helper to create new Item

pid1,sysusers: drop unused SYNTHETIC_ERRNO

The only function of SYNTHETIC_ERRNO is to set the return value.
If we're ignoring the return value, it shouldn't be used.

sysusers: drop counterproductive bitfield annotations

The usual story:
$ diff -u <(pahole build/systemd-sysusers.0) <(pahole build/systemd-sysusers)
  /* size: 80, cachelines: 2, members: 15 */
- /* sum members: 68, holes: 1, sum holes: 4 */
- /* sum bitfield members: 5 bits (0 bytes) */
- /* padding: 7 */
- /* bit_padding: 3 bits */
+ /* sum members: 73, holes: 1, sum holes: 4 */
+ /* padding: 3 */
  /* last cacheline: 16 bytes */

Effectively, because of padding, we were not saving anything. We're not putting
struct Item in arrays, but when allocating on the heap, we're going to round up to
normal alignment too.

The code becomes shorter (and quicker):
$ size build/systemd-sysusers{,.0}
   text    data     bss     dec     hex filename
  79967    2040     264   82271   1415f build/systemd-sysusers.0
  79726    2040     264   82030   1406e build/systemd-sysusers

(In case you're wondering, I wrote this long commit message for a very simple
change on purpose: I want to deflate the bitfield cargo cult a bit.)

bpf: fix restrict_fs on s390x

Linux kernel's bpf-next contains BPF LSM support for s390x. systemd's
test-bpf-lsm currently fails with this kernel.

This is an endianness issue: in the restrict_fs bpf program,
magic_number has type unsigned long (64 bits on s390x), but magic_map
keys are uint32_t (32 bits). Accessing magic_map using 64-bit keys may
work by accident on little-endian systems, but fails hard on big-endian
ones.

Fix by casting magic_number to uint32_t.

importd: Always specify file unpacked by tar

Despite popular belief, the default file extracted by GNU tar is not stdin.  It
is the value of the TAPE environment variable, falling back on a compile-time
constant.  On my system, the default value is /dev/full, which causes tar to
just spin forever due to --ignore-zeros.  Always specifying this flag is the
safe thing to do.

  ~$ tar --show-defaults
  --format=gnu -f/dev/full -b20 --quoting-style=escape
  --rmt-command=/usr/sbin/grmt

See also: ``(tar)defaults'', available via Info viewers, and in HTML form at:
https://www.gnu.org/s/tar/manual/html_node/defaults.html

Merge pull request #26249 from DaanDeMeyer/nspawn-uid-fix

nspawn: Make sure we create bind mount points as the correct UID/GID

Merge pull request #26245 from ldv-alt/tmpfiles-fixes

tmpfiles: fix specifier expansion in arguments of C and L lines

Merge pull request #23956 from mrc0mmand/resolved-ipv6

test: cover (not only) IPv6 in the resolved test suite

Merge pull request #25374 from yuwata/sleep-fixlets

sleep: several fixlets

Merge pull request #26252 from DaanDeMeyer/mkosi-drop-workaround

mkosi fixes

test-systemd-tmpfiles: Fix execution when user is not in /etc/passwd

We might be running in a chroot as a uid that doesn't exist in /etc/passwd.
Let's make sure we don't fail in this scenario.

We pass $HOME when resetting the env so that we can find a home directory
and skip tests that depend on user name/group.

mkosi: Disable auditd when running with nspawn in CI

auditd fails to start in CentOS Stream 9 causing CI failures so let's
disable it when running with nspawn in CI.

mkosi: Add back CentOS Stream 8 to CI

It's still useful to test the EFI handover logic in systemd-boot.
We use a mkosi.prepare script to install a newer python and update
the system to use it.

mkosi: Drop focal workaround in build script

Now that jammy is the latest LTS, lets drop the focal workaround
from the build script.

mkosi: Don't modify rootfs in build script

When unprivileged mkosi becomes available, builds will be executed
as an unprivileged user, so we won't be able to modify the rootfs
anymore. Let's update the build script to account for this.

mkosi: Fix shellcheck warnings

update footer to 2023

mkosi: Drop epel-testing repository from centos config

python3-pefile was pushed to epel 9 stable.

nspawn: Make sure we create bind mount points as the correct UID/GID

When using --private-users, we have to create bind mount points as
the user that will become root in the user namespace, so let's take
that into account.

mkdir-label: Add mkdir_parents_safe_label()

sd-dhcp-server: allow to send header only message

If we receive a header only message, and the server is running in relay
mode, then the assertion was triggered.

Fixes #26151.

ukify: python 3.9 compat followup

sleep: enumerate only existing and non-device batteries

The enumerator is now mostly consistent with on_ac_power() in
udev-util.c.

sleep: fix indentation

sleep: introduce siphash24_compress_id128()

Also, rename get_battery_identifier() to siphash24_compress_device_sysattr().

This also makes any errors in sd_id128_get_machine() or id128_get_product()
ignored. For the machine ID, the failure should not be significant unless
the file stored in the discharge level is reused by another system, which
is quite unusual. For the product ID, if the firmware provides useless
ID (all zero or all 0xFF), then loading/storing the discharge rate
becomes completely broken, that should be avoided.

Note, now sysattrs are used instead of properties in uevent files, but
both provide the same information, hence no functionality should be
changed.

sleep: simplify code a bit

- use device_get_sysattr_int(),
- drop redundant log message.

sleep: coding style fixlets

sleep: introduce SuspendEstimationSec=

Before v252, HibernateDelaySec= specifies the maximum timespan that the
system in suspend state, and the system hibernate after the timespan.

However, after 96d662fa4c8cab24da57523c5e49e6ef3967fc13, the setting is
repurposed as the default interval to measure battery charge level and
estimate the battery discharging late. And if the system has enough
battery capacity, then the system will stay in suspend state and not
hibernate even if the time passed. See issue #25269.

To keep the backward compatibility, let's introduce another setting
SuspendEstimationSec= for controlling the interval to measure
battery charge level, and make HibernateDelaySec= work as of v251.

This also drops implementation details from the man page.

Fixes #25269.

test: wrap delv & dig when running with sanitizers

On Arch both delv and dig pull in libnss_resolve:

```
$ grep resolve /etc/nsswitch.conf
hosts: mymachines resolve [!UNAVAIL=return] files myhostname dns
```

test: don't hang indefinitely on no match

test: add a test for the OPENPGPKEY RR

test: add a couple of SRV records to check service resolution

test: cover IPv6 in the resolved test suite

mkosi: Update and enable ukify in mkosi builds

We also add the necessary deps for ukify to the mkosi configs.

CentOS Stream 8 is dropped from CI because its python version is too
old (3.6) to be able to run ukify.

tmpfiles: automatically create /etc/credstore/ and friends

This adds a tmpfiles.d/ snippet for LoadCredential= style credentials
directories in /etc/ and /run/.

This is done primarily to ensure that the access modes for the dirs are
set up properly, in the most restrictive ways. Specifically these are
set to 0000, so that CAP_DAC_OVERRIDE is necessary to enumerate and read
the credentials, and being UID=0 is not sufficient to do so.

This creates /etc/credstore/, but leaves /run/credstore/ absent if
missing, for now. Thinking is: the latter being non-persistent is
created by software usually, not manually by users, and hence more
likely right. But dunno, we might want to revisit this sooner or later.

This is ultimately an exercise to advertise the LoadCredential= concept
a bit, and do so in a reasonably secure way, underlining the safety of
the concept.

Merge pull request #26228 from DaanDeMeyer/resolve-cap

resolve: Skip stubs if running in a container with userns but without network namespace

journald: don't check for -EREMCHG on open, given that open doesn't generate it

We generate EREMCHG when writing entries, but not during open, hence
don't bother with checking for it.

journal: use TAKE_PTR() at one more place

boot: Use aarch64 virtual counter

This should be used in VMs and should also yield the same value when
running on real devices. It is also what grub uses.

Fixes: #26224

resolve: Skip creating stubs if missing CAP_NET_BIND_SERVICE

If we don't have CAP_NET_BIND_SERVICE, we won't be able to bind
the stub listener socket, so let's skip creating it and log a warning.

We do the same for the extra stubs if they're configured on privileged
ports.

nspawn: Drop CAP_NET_BIND_SERVICE when in userns but not in netns

If we're in a user namespace but not unsharing the network namespace,
we won't be able to bind any privileged ports even with
CAP_NET_BIND_SERVICE, so let's drop it from the retained capabilities
so services can condition themselves on that.

Merge pull request #26209 from PeterCxy/doc-fido2-changes

Update NEWS and docs regarding FIDO2 support in systemd-crypt{enroll,setup}

NEWS: Add entry about support for multiple FIDO2 tokens

docs: Update crypt{enroll,setup} limitations regarding FIDO2

journal: prefix all functions with "server_" that operate on Server objects

Just some search/replace, no real code changes.

The majority of functions already followed this rule, but some did not.
Fix that.

journal-file: be a tiny bit more careful with generating seqnums

Let's handle overflows in a vaguely reasonable way, i.e. avoid the
special values 0 and UINT64_MAX

sleep: drop unnecessary temporal vaiable and initialization

sleep: fetch_batteries_capacity_by_name() does not return -ENOENT

sleep: rename hibernate_delay_sec -> _usec

update TODO

journald: minor modernizations in kmsg handling code

Nothing earth shattering. Mostly just fixes (and some more careful
checking of the boolean variables we keep)

Merge pull request #26198 from poettering/journal-strict-mode

journal: enforce strict ordering only when writing journal files from journald, but not from journal-remote and similar

github/labeller: fix yaml syntax

github/labeller: add more match patterns

journal: automatically pick up boot ID in journal_file_append_entry()

Let's pick up the boot ID early if unspecified, in
journal_file_append_entry(). This is symmetric to the fact that we
already pick up the monotonic timestamp in journal_file_append_entry()
if unspecified, and given that the monotonic clock is not too useful
without its boot ID it makes a lot of sense to pick them up at the same
time.

There are two relevant callers of journal_file_append_entry() right now:
journald (which leaves the boot ID unspecified) and journal-remote
(there are also some tests, but those don't matter too much). The former
calls it to store new entries in the journal file, the latter for
converting/processing/merging existing ones (where it passes along the
original boot ID). This new code hence only is relevant on the former,
and using the boot ID of the current system is the right choice for live
generated entries.

Note that this effectively changes little, since the lower-level
function journal_file_append_entry_internal() will copy boot ID stored
in the file header into all records if unspecified, and typically that's
the one of the local system. But strictly speaking this is not the right
thing to do, since we actually might end up appending to journal files
from previous boots. (The lower level function is indirectly used by
various tests, where the copying-from-header logic kinda makes sense
since they are detached from any live messages streaming in from the
host after all).

sha256: header needs stddef

The sha256 header uses size_t which is within stddef, so add it.

Signed-off-by: William Roberts <william.c.roberts@intel.com>

journal: add some line breaks/comments

journal-file: make strict order optional

This is a follow-up for 1d8d483f59ffa62974772fb58a8ef4abe88550ec and
makes the strict ordering by realtime clock within each journal file
optional, not mandatory. It then enables it for all journal files
written by journald, but leaves it off on others (for example those
written by journald-remote).

This relaxes the logic behind writing journal files to the status quo
ante for all cases where the journal files are not generated, but are
merged/processed/propagated. Typically when processing journal records
from many files ordering by realtime clock and monotonic clock are
contradictory, and cannot be universally guaranteed as the records are
interleaved. By enforcing strict rules we would thus end up generating
myriads of separate journal files, each with just a few records in them.

Hence, let's losen restrictions again, but continue to enforce them in
journald, i.e. when we original create the journal files locally.

Note that generally there's nothing really wring with having journal
files with non-monotonically ordered entries by realtime clock. Looking
for records will not be deterministic anymore, but that's inherent to a
realtime clock that jumps up and down. So you won't get the "only"
answer, but still *a* answer that is correct if you seek for a realtime
clock.

This also adds similar logic on the monotonic clock, which is also only
enabled when generating journal files locally. This should be harder to
trigger (as journald will generate the messages, and should run with a
stable boot id and monotonic clock), but let's better be safe than
sorry, and refuse on the lower layer what makes no sense, even if it's
unlikely the higher layer will ever generate records that aren't ordered
by their monotonic clock.

Merge pull request #26204 from poettering/journal-header-compoung-init

journal: use compound initialization for journal file "Header" structure

Merge pull request #26179 from medhefgo/boot-no-gnu-efi

boot: Use size_t/unicode string literals

repart: Add roothash to output of all verity siblings

This can be used to match verity partitions together using the repart
JSON output.

Merge pull request #26195 from mrc0mmand/update-uapi

basic/linux: update l2tp.h

Merge pull request #26192 from mrc0mmand/fix-errno-check

sysupdate: fix errno check

test-execute: Skip when /sys is read-only

The test depends on /sys being writable, so let's skip it when /sys
is read-only.

test: skip firstboot --prompt-keymap check if keymaps are missing

Fixes: #26165

Merge pull request #26197 from poettering/journal-file-size-t-fix

journal: some trivial size_t array size fixes

journal: use compound initialization for journal file Header structure

journal-def: fix type of signature to match the actual field in the Header structure

boot: Use unicode literals

No changes in behavior.

boot: Use unsigned for beep counting

boot: Replace UINTN with size_t

No changes in behavior.

dlfcn: add new safe_dclose() helper

Let's allow destructing loaded module handles in our usual way that is
fine with NULL handles, and also returns the NULL handle again.

partition: fix build with newer linux/btrfs.h uapi header

linux/btrfs.h needs  to be included after sys/mount.h, as since [0]
linux/btrfs.h includes linux/fs.h causing build errors:

```
In file included from /usr/include/linux/fs.h:19,
                 from ../src/basic/linux/btrfs.h:29,
                 from ../src/partition/growfs.c:6:
/usr/include/sys/mount.h:35:3: error: expected identifier before numeric constant
   35 |   MS_RDONLY = 1,                /* Mount read-only.  */
      |   ^~~~~~~~~
[1222/2169] Compiling C object systemd-creds.p/src_creds_creds.c.o
ninja: build stopped: subcommand failed.
```

See: https://github.com/systemd/systemd/issues/8507

[0] https://github.com/torvalds/linux/commit/a28135303a669917002f569aecebd5758263e4aa

basic/linux: update linux uapi headers

IPPROTO_L2TP was moved from linux/l2tp.h to linux/in.h [0], so let's
reflect that change to fix build with newer kernels:

```
In file included from ../src/libsystemd/sd-netlink/netlink-types-genl.c:10:
../src/basic/linux/l2tp.h:16: error: "IPPROTO_L2TP" redefined [-Werror]
   16 | #define IPPROTO_L2TP            115
      |
In file included from ../src/libsystemd/sd-netlink/netlink-types-genl.c:3:
/usr/include/netinet/in.h:85: note: this is the location of the previous definition
   85 | #define IPPROTO_L2TP            IPPROTO_L2TP
      |
cc1: all warnings being treated as errors
```

When at it, update the rest of the headers we ship as well.

[0] https://github.com/torvalds/linux/commit/65b32f801bfbc54dc98144a6ec26082b59d131ee

journal-file: cast file size to to fixed size type

(We generally avoid using off_t for file sizes/offsets, and instead use
uint64_t to get the same behaviour everywhere. Do so here too.)

journal-file: fix type of array counter

Merge pull request #26193 from aafeijoo-suse/cryptenroll-unlock-fido2-device-man-and-bash-completion-fix

Add missing --unlock-fido2-device to systemd-cryptenroll man and bash-completion

man: add missing --unlock-fido2-device to systemd-cryptenroll

update TODO

bash-completion: add missing --unlock-fido2-device to systemd-cryptenroll

bootctl-status: several follow-ups for unlink command

Follow-ups for 8702496bfb0205764569782a9a2ebd11fd80e5e8.

- add missing error cause in logging,
- add several missing assertions,
- drop an unnecessary initialization,
- make boot_config_find_in() return negative errno if nothing found,
- and several coding style fixlets.

bootctl-uki: several follow-ups for inspect_osrel()

Follow-ups for #26124 and #26158.

- use os_release_pretty_name(),
- constify the buffer passed to inspect_osrel(),
- propagate errors in inspect_osrele(), and ignore them in the caller
  side,
- and several coding style fixlets.

coccinelle: skip the empty-to-null transformation on the macro itself

Since the empty_to_null() function was "macrofied", we need to use a bit
of black magic to make Coccinelle avoid running the transformation on
the macro itself.

Follow-up to ef2409cbde3.

sysupdate: fix errno check

NEWS: update date and location

shared/efi-loader: fix compilation with !ENABLE_EFI, improve messages

When compiled without ENABLE_EFI, efi_stub_measured() was not defined, so
compilation would fail. But it's not enough to add a stub that returns
-EOPNOTSUPP. We call this function in various places and usually print the error
at warning or error level, so we'd print a confusing message. We also can't add
a stub that always returns 0, because then we'd print a message like "Kernel
stub did not measure", which would be confusing too. Adding special handling for
-EOPNOTSUPP in every caller is also unattractive. So instead efi_stub_measured()
is reworked to log the warning or error internally, and such logging is removed
from the callers, and a stub is added that logs a custom message.

Merge pull request #26184 from keszybz/cleanups

Various fixups to recent commits

locale: rename new XKB variables to match Debian/Ubuntu's

Debian/Ubuntu use almost the same variables, but without '_'. Given
our usage is new, rename them so that they match and downstream tech
debt can be removed.

Follow-up for https://github.com/systemd/systemd/pull/25805

See:
 https://github.com/systemd/systemd/issues/24228
 https://github.com/systemd/systemd/pull/25412

docs: Update HACKING.md to mention latest mkosi is needed

Let's require users to run mkosi from git so we can fix any issues
forward instead of trying to keep the configs working with older
versions.

meson: Do not include headers in source lists

Meson+ninja+compiler do this for us and are better at it.

https://mesonbuild.com/FAQ.html#do-i-need-to-add-my-headers-to-the-sources-list-like-in-autotools

Update NEWS

Consolidate various TAKE_* into TAKE_GENERIC(), add TAKE_STRUCT()

man: clarify that MESSAGE= should not appear more than once in the same journal entry

One would think this was clear already, but apparently it's not clear
enough, hence let's be more explicit.

Fixes: #26175

test-sleep: reduce timeout

The timeout was raised during review and I wrote that I lowered it, but forgot
to actually commit the diff. Follow-up for 31f62bdd79472c32d52408956d5c82e9991ca425.

NEWS: update for v253-rc1

udevadm: add todo to remind us to remove compat code

https://github.com/systemd/systemd/pull/25145#issuecomment-1397606521

man/bootctl: add missing markup

Fixup for 53c368d71ba43da7414ac86c58291a11da05ba84.

Merge pull request #26152 from systemd/revert-26143-issue-26142

Revert "Resolves #26142 - Fix list of supported personalities"

Merge pull request #26158 from poettering/hostnamed-end-of-support

hostnamed/hostnamectl: support os-release END_OF_SUPPORT= field

path-util: rework file_in_same_dir() on top of path_extract_directory()

Let's port one more over.

Note that this changes behaviour of file_in_same_dir() in some regards.
Specifically, a trailing slash of the input path will be treated
differently: previously we'd operate below that dir then, instead of the
parent. I think that makes little sense however, and I think the code
using this function doesn't expect that either.

Moroever, addresses some corner cases if the path is specified as "/" or
".", i.e. where e cannot extract a parent. These will now be treated as
error, which I think is much cleaner.